L’écoute d’un épisode du Code a changé, le podcast de Xavier de La Porte, a attiré mon attention sur la justice prédictive. L’échange avec la chercheuse Camille Girard-Chanudet portait sur la mise en place d’un algorithme de pseudonymisation au sein de la Cour de cassation, et sur les implications éthiques et sociales – en terme de travail humain – que cela impliquait.
Au tournant des programmes d’EMC de seconde sur l’État de droit et de première sur le racisme et la société numérique, j’ai mené un projet pour faire prendre du recul critique sur l’IA tout en l’utilisant. Car derrière cette expression passe-partout se cachent de nombreuses réalités, et il me semblaient important que les élèves puissent faire la différence entre algorithme prédictif et modèles de langages. C’était aussi l’occasion d’approfondir leurs usages des LLM et des les initier au Machine learning.
This algorithmic opacity or lack of transparency in a “Black-Box Society,” […] raises profound ethical questions about justice, power, inequality, bias, freedom, and democratic values in an AI-driven world.
Shannon Vallor, The AI mirror
La notion d’éthique, en lien avec celle de justice, est bien sûr centrale dans la séquence proposée. C’est une question qui se pose aux origines de la cité, Platon la concevant comme un idéal harmonieux, tandis qu’Aristote l’ancre davantage dans la réalité sociale et politique. Elle est aujourd’hui plus que jamais incontournable, ainsi qu’en témoignent la réflexion de l’UNESCO et sa Recommandation.
Étape 1 – Une question médiatisée
C’est l’article de Propublica de 2016 sur le scandale de la justice prédictive qui sert de point de départ du travail avec les élèves. Il montre comment l’algorithme censé mesurer le risque de récidive d’un prévenu (risk assesment) défavorise largement les minorités afro-américaines.
Eu égard au temps limité, on propose plusieurs ressources aux élèves et des outils d’IA générative pour les résumer, synthétiser et analyser. Déjà se pose une question éthique et de droit : que peut-on utiliser qui soit respectueux des droits des usagers. C’est l’occasion de rappeler les question de RGPD et de la valeur des données. On les oriente donc sur Perplexity et les LLM proposés par DuckDuckGo AI chat, qui ne nécessitent pas de création de compte.
An accuracy of 50 percent can be achieved by generating risk scores randomly! So a questionnaire that uses 137 data points about a person is only slightly better than deciding a defendant’s fate based on a coin flip
A. Narayanan & S. Kapoor A. AI Snake Oil. What Artificial Intelligence Can Do,What It Can’t
On initie ainsi au prompt, à la gestion d’étude de corpus et au classement des informations. Interroger un corpus de ressources ne va pas de soi, il faut être méthodique, savoir reformuler et granulariser les requêtes. Un temps est pris pour comparer prompts efficaces et requêtes trop banales et bancales.
Il ressort de l’étude le problème éthique de la discrimination des minorités. Il convient alors de comprendre pourquoi.
Étape 2 – Un outil neutre ?
On a pu mettre en valeur que les algorithmes sont entraînés sur des données réelles et en reproduisent les tendances. Ce faisant, il ne font, qu’en miroir, répliquer les biais d’une société inégalitaire qui défavorise certains groupes.
C’est pour comprendre l’importance des données d’entrainement qu’on initie les élèves au Machine learning avec Teachable Machine. Leur mission est alors de proposer un set d’entrainement volontairement biaisé pour montrer qu’en elle-même la machine ne comprend pas ce qu’elle fait et se contente de définir des modèles et de les reproduire. C’est un peu sur le mode de l’humour que le travail est orienté.
Étape 3 – Éthique et droits de l’Homme
Ces premières étapes montrent bien que l’outil n’est pas neutre. On propose donc une réflexion pour protéger les citoyens par la définition de nouveaux articles pour la Déclaration des Droits de L’Homme et du citoyen et portant sur les usages de l’IA.
La comparaisons des propositions réalisées en groupe montre des convergences vers des points d’attention sensibles : la transparence, la suppression des biais, la primauté du choix humain et l’éducation à un tel outil.
La mise en œuvre de l’étude fait naître des craintes légitimes. Ce fonctionnement biaisé de la justice ne risque-t-il pas de s’immiscer ailleurs et de porter atteinte aux droits et à l’égalité des citoyens ? Il est temps de voir ce qui se passe en France.
Étape 4 – Justice, open data et IA en France
C’est à ce moment que les travaux de Camille Girard Chanudet nous éclairent. La sociologue a étudié le travail des annotatrices du modèle d’entrainement pour la pseudonymisation des actes de justice. Dans la dynamique du mouvement de l’open data impulsé en 2016, il s’agit en effet d’offrir une base de travail – hors pénal- aux start-ups de la legaltech. Pour cela il faut traiter les 4 millions d’actes publiés chaque année en respectant la vie privée. D’où le recours à une IA, mais qu’il faut d’abord entraîner.
Camille Girard Chanudet met ainsi en valeur un travail de « petite main », souvent féminin et peu valorisé, via une équipe insérée dans des rouages plus vastes. Cette étude nous permet de mettre en valeur deux éléments. Tout d’abord la place toujours fondamentale des « travailleurs du clics », particulièrement étudiée par Antonio A. Casilli. Et consécutivement, le rôle de ce travail dans l’entrainement du modèle IA par les choix réalisés par les annotatrices. En effet, définir ce qui relève d’un élément d’identification et le classer dans une catégorie n’a rien d’évident ou simple. Cela entraîne des décisions permanentes et qui ne sont pas toujours les mêmes d’une annotatrice à l’autre. Ainsi, on montre que la machine finale ne sera jamais neutre et objective, qu’elle dépendra d’une gamme de choix réalisés en amont.
Cette problématique est facilement travaillée avec les élèves : on propose, par petit groupe ou individuellement, de pseudonymiser un acte légal (fictif) : il faut relever tout élément pouvant mener à une identification et créer une catégorie pour le ranger. La comparaison des travaux met à jour la diversité des choix opérés.
Conclusion
Ce parcours a permis de travailler des notions importantes sur la justice et l’État de droit, tout en initiant, avec un regard critique, à diverses dimensions de l’intelligence artificielle. Il s’est conclu, lors de la semaine de la Philosophie organisée à l’IIL, par un exercice de webradio où deux élèves de terminale ont interviewé deux élèves de première sur cette thématique du rapport entre éthique et justice prédictive.
