Justice prédictive, éthique et IA

L’écoute d’un épisode du Code a changé, le podcast de Xavier de La Porte, a attiré mon attention sur la justice prédictive. L’échange avec la chercheuse Camille Girard-Chanudet portait sur la mise en place d’un algorithme de pseudonymisation au sein de la Cour de cassation, et sur les implications éthiques et sociales – en terme de travail humain – que cela impliquait.

Au tournant des programmes d’EMC de seconde sur l’État de droit et de première sur le racisme et la société numérique, j’ai mené un projet pour faire prendre du recul critique sur l’IA tout en l’utilisant. Car derrière cette expression passe-partout se cachent de nombreuses réalités, et il me semblaient important que les élèves puissent faire la différence entre algorithme prédictif et modèles de langages. C’était aussi l’occasion d’approfondir leurs usages des LLM et des les initier au Machine learning.

This algorithmic opacity or lack of transparency in a “Black-​Box Society,” […] raises profound ethical questions about justice, power, inequality, bias, freedom, and democratic values in an AI-​driven world.

Shannon Vallor, The AI mirror

La notion d’éthique, en lien avec celle de justice, est bien sûr centrale dans la séquence proposée. C’est une question qui se pose aux origines de la cité, Platon la concevant comme un idéal harmonieux, tandis qu’Aristote l’ancre davantage dans la réalité sociale et politique. Elle est aujourd’hui plus que jamais incontournable, ainsi qu’en témoignent la réflexion de l’UNESCO et sa Recommandation.

Étape 1 – Une question médiatisée

C’est l’article de Propublica de 2016 sur le scandale de la justice prédictive qui sert de point de départ du travail avec les élèves. Il montre comment l’algorithme censé mesurer le risque de récidive d’un prévenu (risk assesment) défavorise largement les minorités afro-américaines.

Eu égard au temps limité, on propose plusieurs ressources aux élèves et des outils d’IA générative pour les résumer, synthétiser et analyser. Déjà se pose une question éthique et de droit : que peut-on utiliser qui soit respectueux des droits des usagers. C’est l’occasion de rappeler les question de RGPD et de la valeur des données. On les oriente donc sur Perplexity et les LLM proposés par DuckDuckGo AI chat, qui ne nécessitent pas de création de compte.

An accuracy of 50 percent can be achieved by generating risk scores randomly! So a questionnaire that uses 137 data points about a person is only slightly better than deciding a defendant’s fate based on a coin flip

A. Narayanan & S. Kapoor A. AI Snake Oil. What Artificial Intelligence Can Do,What It Can’t

On initie ainsi au prompt, à la gestion d’étude de corpus et au classement des informations. Interroger un corpus de ressources ne va pas de soi, il faut être méthodique, savoir reformuler et granulariser les requêtes. Un temps est pris pour comparer prompts efficaces et requêtes trop banales et bancales.

Il ressort de l’étude le problème éthique de la discrimination des minorités. Il convient alors de comprendre pourquoi.

Étape 2 – Un outil neutre ?

On a pu mettre en valeur que les algorithmes sont entraînés sur des données réelles et en reproduisent les tendances. Ce faisant, il ne font, qu’en miroir, répliquer les biais d’une société inégalitaire qui défavorise certains groupes.

C’est pour comprendre l’importance des données d’entrainement qu’on initie les élèves au Machine learning avec Teachable Machine. Leur mission est alors de proposer un set d’entrainement volontairement biaisé pour montrer qu’en elle-même la machine ne comprend pas ce qu’elle fait et se contente de définir des modèles et de les reproduire. C’est un peu sur le mode de l’humour que le travail est orienté.

Étape 3 – Éthique et droits de l’Homme

Ces premières étapes montrent bien que l’outil n’est pas neutre. On propose donc une réflexion pour protéger les citoyens par la définition de nouveaux articles pour la Déclaration des Droits de L’Homme et du citoyen et portant sur les usages de l’IA.

La comparaisons des propositions réalisées en groupe montre des convergences vers des points d’attention sensibles : la transparence, la suppression des biais, la primauté du choix humain et l’éducation à un tel outil.

La mise en œuvre de l’étude fait naître des craintes légitimes. Ce fonctionnement biaisé de la justice ne risque-t-il pas de s’immiscer ailleurs et de porter atteinte aux droits et à l’égalité des citoyens ? Il est temps de voir ce qui se passe en France.

Étape 4 – Justice, open data et IA en France

C’est à ce moment que les travaux de Camille Girard Chanudet nous éclairent. La sociologue a étudié le travail des annotatrices du modèle d’entrainement pour la pseudonymisation des actes de justice. Dans la dynamique du mouvement de l’open data impulsé en 2016, il s’agit en effet d’offrir une base de travail – hors pénal- aux start-ups de la legaltech. Pour cela il faut traiter les 4 millions d’actes publiés chaque année en respectant la vie privée. D’où le recours à une IA, mais qu’il faut d’abord entraîner.

Camille Girard Chanudet met ainsi en valeur un travail de « petite main », souvent féminin et peu valorisé, via une équipe insérée dans des rouages plus vastes. Cette étude nous permet de mettre en valeur deux éléments. Tout d’abord la place toujours fondamentale des « travailleurs du clics », particulièrement étudiée par Antonio A. Casilli. Et consécutivement, le rôle de ce travail dans l’entrainement du modèle IA par les choix réalisés par les annotatrices. En effet, définir ce qui relève d’un élément d’identification et le classer dans une catégorie n’a rien d’évident ou simple. Cela entraîne des décisions permanentes et qui ne sont pas toujours les mêmes d’une annotatrice à l’autre. Ainsi, on montre que la machine finale ne sera jamais neutre et objective, qu’elle dépendra d’une gamme de choix réalisés en amont.

Cette problématique est facilement travaillée avec les élèves : on propose, par petit groupe ou individuellement, de pseudonymiser un acte légal (fictif) : il faut relever tout élément pouvant mener à une identification et créer une catégorie pour le ranger. La comparaison des travaux met à jour la diversité des choix opérés.

Conclusion

Ce parcours a permis de travailler des notions importantes sur la justice et l’État de droit, tout en initiant, avec un regard critique, à diverses dimensions de l’intelligence artificielle. Il s’est conclu, lors de la semaine de la Philosophie organisée à l’IIL, par un exercice de webradio où deux élèves de terminale ont interviewé deux élèves de première sur cette thématique du rapport entre éthique et justice prédictive.

L’Hypnocratie et la perspective du seuil

Je viens d’achever le livre OVNI du moment, Hypnocratie, de Xun Jianwei. Ou plutôt d’Andrea Colamedici. Car Xun Jianwei n’existe pas. Disons pas vraiment, car « Xun continues to exist as an evolving philosophical project that explores new modes of intellectual collaboration between human and non-human intelligences. » (jianweixun.com)

On le comprend, il s’agit ici d’une expérience de construction narrative et philosophique, réalisée avec deux LLM, en l’occurrence Claude Sonnet 3.5 et ChatGPT-4o. C’est Philosophie Magazine qui a eu l’excellente idée d’assurer la version française cette année.

On se souviendra sans doute de cette première expérience de co-création menée par Rapahël Doan avec Si Rome n’avait pas chuté (Passés/Composés, 2023). Mais ici, Xun Jianwei / Andrea Colamedici pousse encore plus loin la profondeur créatrice. Ce qui était chez R. Doan une découverte-test présentée avec un recul critique, devient ici un véritable cheminement créateur de sens. Avant que le dispositif ne soit révélé par l’enquête de certains journaux, il s’agissait aussi, dans la forme, d’une forme d’expérience sociale. Le lecteur avait tout de même à disposition ce premier chapitre, intitulé « L’expérience de Berlin », en fait une mise en abîme de l’expérience qu’il commençait à vivre.

Mais au-delà, c’est le contenu qui importe, ce concept d’hypnocratie qui, en rendant vaine toute recherche de vérité par la multiplication des réalités, impose sans contraindre, place l’individu en état de transe permanente. Ces réalités qui se multiplient à l’infini, ce sont celles de la logorrhée hypnotique de Trump, du flux de promesses de Musk, des publications virales des réseaux sociaux, des mondes cohérents créés à l’envie par l’I.A. Le medium est devenu le message, il rend impossible toute cristallisation d’une dialectique salvatrice car il n’y a plus de vrai à rechercher.

Pire, il semble pouvoir, par sa mutation perpétuelle, phagocyter tout discours ou posture de résistance, s’en nourrissant même en transformant tout en données quantifiables.

Heureusement, Xun Jianwei / Andrea Colamedici ouvre des pistes pour y échapper, notamment en profitant des erreurs de quantification du système :

« Les échecs de l’intimité algorithmique offrent l’opportunité de générer des espaces d’incertitudes authentique, d’inefficacité et de désordre sacré dans nos vies intimes. »

Ces propositions ne sont pas sans rappeler la réflexion de Marcello Vitali-Rosati dans son Eloge du bug (Zones, 2024) car nous sommes bien « le résultat des interactions avec les outils. », mais c’est en butinant entre eux, en perdant du temps à les bricoler, que là aussi une résistance peut s’amorcer.

Xun Jianwei / Andrea Colamedici ne nous propose pas de sortir de l’hypnocratie, le projet serait vain, mais d’y naviguer, de tromper la quantification, de jouer sur les « interstices » et de développer une « culture du seuil » :

« Aucun éveil n’est possible. L’alternative n’est pas de chercher une échappatoire, mais d’apprendre à déchiffrer les codes qui régissent l’illusion. Il faut s’éduquer à habiter le Seuil, cet espace intermédiaire où la présence peut se maintenir dans l’altération. Car la réalité n’a pas vraiment disparu. Elle est devenu un reflet.»

N’est-on pas alors tenter de songer aux Furtifs d’Alain Damasio (Gallimard, 2021) et de la réflexion politique et sociale qu’il suscite ? Mais, dans cette réflexion sur le langage et le sens, et avec le « seuil » comme point de convergence, c’est également vers Yves Bonnefoy qu’on est tenter de se tourner, vers ce monument qu’est Dans le leurre du seuil (1975, Gallimard), où se jouent aussi des effets d’échos et de de dédoublement. « Et pour finir on n’est que celui qui a voulu cette délivrance, et n’en a pas été capable, mais qui a vécu la distance entre soi et soi : le Témoin » (Yves Bonnefoy, Entretiens sur la Poésie, Mercure de France, 1990).