Le prédictif — à grand renfort d’intelligence artificielle et d’algorithmes — nous apporte un nouveau type de connaissances. Mais il faut identifier les possibles effets pervers de « la boîte noire » et éviter que la justice prédictive ne devienne une justice « performative » ou « auto-réalisatrice ».

Fabrice Lorvo*, avocat associé, FTPA.

Le rapport Villani (1) sur l’intelligence artificielle (IA) – laquelle est, rappelonsle, le fait de créer des processus cognitifs comparables à ceux de l’être humain – préconise que la France avec l’Europe devienne un leader mondial de l’intelligence artificielle. Il s’agit de donner un sens à cette intelligence, qui doit seconder et non remplacer l’intelligence humaine.

Prédire jusqu’aux comportements humains
L’essor de l’IA est irrémédiable car il constitue a priori, aux yeux de tous, un progrès. Cette évolution technologique ne doit cependant pas nous faire oublier l’expérience acquise et la relativité du progrès, lequel peut apporter une amélioration immédiate puis être aussi porteur à plus long terme d’effets extrêmement néfastes sur les humains. L’amiante en est un exemple topique. Vanté au début du XIXe siècle pour ses vertus techniques, utilisé à outrance notamment pour la reconstruction d’aprèsguerre, il est apparu postérieurement que les effets à long terme de ce type de minéral à texture fibreuse étaient létaux pour l’homme.
Outre ce caractère irrémédiable, force est de constater que le progrès numérique (2) est ambivalent, c’est-à-dire qu’il amplifie à la fois des effets positifs comme des effets négatifs, et qu’il est difficile de tenter de corriger les effets négatifs sans impacter les effets positifs. L’IA n’échappe donc pas à des réserves. Ce nouveau type d’intelligence et de connaissance — avec l’ingénierie inversée (3) — offre des possibilités multiples, et l’on se prend à rêver d’un algorithme permettant de lutter contre, par exemple, le piratage sur Internet ou les contenus illicites en lignes. Nous nous intéresserons uniquement à la justice prédictive. On peut distinguer deux grands types de débouchés possibles : prédire les décisions de justice (sur la base des décisions de justice rendues dans le passé) ou prédire les comportements humains individuels à venir. Cette dernière catégorie concerne principalement l’aspect pénal de la justice. Elle est déjà utilisée depuis plus de dix ans aux Etats-Unis pour mesurer les risques de dangerosité ou de récidive d’un individu. En principe, en France, une telle utilisation n’est pas possible dès lors qu’elle est interdite par la loi. Cette interdiction doit cependant être nuancée car si la loi « Informatique et Libertés » de 1978 interdit que les décisions de justice impliquant une appréciation sur le comportement d’une personne soient prises par des algorithmes (4), la jurisprudence limite l’interdiction à l’exclusivité du fondement de la décision, considérant ainsi que ladite loi n’a ni pour objet ni pour effet d’interdire
à la juridiction de prendre en compte, parmi d’autres éléments d’appréciation, les résultats d’un tel traitement (5). Une étude parue en janvier 2018 dans Science Advances (6) démontre que le logiciel d’évaluation des risques Compas (7), commercialisé par une société privée américaine (Northpointe) et largement utilisé
par — selon cette société — l’équipement de 200 systèmes de justice pénale aux
Etats-Unis et au Canada, n’est pas plus précis ou équitable que les prédictions faites par des personnes ayant peu ou pas d’expertise en justice pénale. Cette étude démontre en outre qu’avec beaucoup moins d’informations que Compas (seulement
7 critères comparés aux 137 du questionnaire de Compas (8)), une petite foule de personnes inexpérimentées est aussi précise que Compas pour prédire la récidive.
A priori et à ce jour, les algorithmes prédictifs n’ont pas démontré une suprématie
par rapport à la décision humaine en termes d’efficacité. En France, par exemple, le Conseil d’Etat cite un rapport de l’Institut Montaigne publié en 2017 et intitulé « Justice : faites entrer le numérique », selon lequel « le taux actuel de sûreté des algorithmes prédictifs en droit ne semble pas, en l’état, excéder 70 %, ce qui n’est pas si élevé et
ne saurait fonder des certitudes » (9). A l’inverse, de tels algorithmes sont critiqués car sujets à de nombreux biais cognitifs principalement des biais sexistes, raciaux et de classes sociales (10).

Boîte noire et secret des affaires : risques
Outre l’efficacité relative des algorithmes, au moins deux critiques essentielles doivent être conservées à l’esprit en matière de justice prédictive, à savoir, le syndrome de
« la boîte noire » et le risque de « performativité » de la justice. Pour la boîte noire,
il ne s’agit pas ici de celle de l’aéronautique (qui est en fait orange) mais bien de la représentation d’un système sans comprendre son fonctionnement interne. Les codes sources des algorithmes sont généralement incompréhensibles pour le commun des mortels, et confidentiels car couverts par le secret des affaires. Une des causes de cette opacité réside dans le fait que les algorithmes utilisés, notamment par le pouvoir régalien (justice, police, défense, etc.), nécessitent de tels investissements financiers qu’ils ne sont développés que par le secteur privé.

Transparence, intégrité et capacité de jugement
Outre les questions de souveraineté, lorsque le prestataire est d’une nationalité différente, se pose de manière prégnante la question du secret des affaires. On peut comprendre qu’une société privée souhaite conserver son avantage concurrentiel, fruit de ses investissements et du risque pris en R&D, en gardant secret le fonctionnement de ces algorithmes. A l’inverse, dès lors que lesdits algorithmes sont de nature à avoir un impact sur la liberté des citoyens, il est plus que légitime que de pouvoir comprendre la manière dont il fonctionne et de pouvoir vérifier l’intégrité et la pertinence du modèle. L’exemple magistral du scandale récent du « Dieselgate » a démontré qu’un algorithme pouvait être trompeur et que le résultat qui s’affiche à l’écran peut travestir la réalité.
De plus, il faut être en mesure de pouvoir vérifier la neutralité des algorithmes. Il se pose, là encore, la question de savoir si l’homme est prédictible et jusqu’où il peut être modélisé de manière mathématique. Les algorithmes peuvent implicitement se référer
à un concept d’homme idéal ou de norme socialement acceptable. Sans défiance particulière pour les mathématiciens et/ou ingénieurs du secteur privé, ce type de questions relève du débat de société et l’établissement de telles normes – qui constituent déjà une sérieuse entorse à l’indispensable diversité humaine, sociale
ou culturelle – est de la compétence exclusive des pouvoirs publics, protecteurs de l’intérêt général et des droits fondamentaux. Reste aussi la question de la complétude, l’exactitude et l’intégrité de la base de données sur lequel les algorithmes vont travailler.
Cette nécessité de transparence et de compétences, ainsi que les problèmes éthiques induits que posent des algorithmes, a suscité diverses propositions qu’il convient de continuer à explorer. Le rapport Villani évoque « la constitution d’un corps d’experts publics assermentés en mesure de procéder à des audits d’algorithmes, des bases
de données et de procéder à des tests par tous moyens requis ». De même, le Québec a récemment proposé la création d’une « organisation mondiale de l’intelligence artificielle pour travailler sur les enjeux sociétaux et éthiques de cette technologie » (11). Une des grandes questions de la démocratie depuis l’Antiquité a été de savoir
« Qui gardera les gardes ? » ; celle de notre démocratie numérique sera probablement : « Qui gardera les algorithmes ? ». A la vitesse à laquelle l’intelligence artificielle progresse, tout cela ne constitue que des balbutiements et des ajustements temporaires, et que les algorithmes seront prochainement d’une grande fiabilité. Cet espoir n’est pas illusoire mais il est insuffisant. Ne négligeons pas le fait que le prédictif nous apporte un nouveau type de connaissances et qu’il nous faut en identifier les possibles effets pervers. Il faut avoir conscience et éviter que la justice prédictive ne devienne une justice performative ou auto-réalisatrice. En effet, si l’analyse des décisions passées permet de dégager une opinion majoritaire, il faut garder à l’esprit la possibilité que le juge soit influencé par ce résultat : soit qu’il renonce spontanément à sa liberté d’appréciation du fait de la quantité de jugements passés rendus dans un sens, soit qu’il ne souhaite pas prendre le risque de soutenir une position contraire.
En d’autres termes, le résultat produit par les algorithmes peut être de nature à s’imposer, volontairement ou non, au juge. Les algorithmes pourraient donc affecter la capacité de jugement des juges et/ou ôter à la jurisprudence son rôle qui permet de faire évoluer le droit en prenant en considération l’évolution de la société. Dans ces conditions, le règne des décisions passées serait de nature à empêcher toute variation dans le futur. Quant au juge, il pourrait sous la pression des décisions de ses prédécesseurs, réduire sa capacité de juger et limiter son rôle à celui de répétiteur du passé et non plus, de facilitateur de l’avenir.

Équilibre entre conviction et uniformisation
Un autre élément serait de nature à figer la jurisprudence, à savoir l’absence de prise en compte de la hiérarchie des décisions judiciaires qui sont pourtant de nature très diverse (première instance, appel ou de cassation). Cette hiérarchie a une fonction :
« Les arrêts des formations supérieures viennent poser, dans une navigation juridictionnelle parfois périlleuse, des phares et des balises aidant au repérage que la multitude des décisions d’espèce ne doit pas masquer » (12) (*). Le risque, c’est que l’exploitation de ces décisions en ligne ne prenne plus en considération cette hiérarchie. Notre système judiciaire est le fruit d’un mécanisme d’horloger permettant un difficile équilibre entre l’intime conviction du juge et l’uniformisation de la jurisprudence. C’est un titanesque défi de vouloir transcrire cet équilibre en une équation mathématique. @

* Auteur du livre « Numérique : de la révolution au naufrage ? »,
paru en 2016 chez Fauves Editions.