Fermer la publicité
Journal d'information juridique et d'annonces légales

Lutte contre les discriminations : une bataille à mener également contre des algorithmes

le - - Droit - Actualité du droit

Lutte contre les discriminations : une bataille à mener également contre des algorithmes
© DR - Article de Maël Viollet, étudiante en dernière année à l'EDHEC Business School, LLM Law & Tax Management.

« Big data », « computer science », « machine learning », « robotisation », « data analytics », etc. Aujourd'hui, la presse regorge d'articles à propos de l'intelligence artificielle. La recherche et le développement de nouvelles technologies dans ce domaine semblent plébiscités car gageant des améliorations sans précédent pour notre société. Comme toute innovation, la finalité est un perfectionnement d'une partie de l'existence. Les nouvelles technologies ont ainsi déjà prouvé leur utilité dans de multiples domaines comme le commerce, mais aussi la santé, l'éducation, la justice, en permettant aux utilisateurs de gagner en efficacité, en anticipation, en fiabilité ou encore en précision.

Le sujet semble mériter la place qu'il occupe sur le devant de la scène en raison de la multitude des possibilités et des acteurs touchés auxquels il renvoie. Et on peut, sans prendre de risques, affirmer que cette place lui sera encore gardée un long moment. Notre futur apparait dès à présent étroitement lié à la collecte et l'analyse de quantités massives de données et certaines de nos décisions sont déjà fortement influencées par des algorithmes. Si ces nouveaux outils permettent de réaliser des avancées majeures, ils ne sont pourtant pas toujours aussi fiables et impartiaux qu'on pourrait le présumer.

Il s'avère en effet qu'une machine peut être raciste ou sexiste et qu'un algorithme, à défaut de corriger de mauvaises pratiques, entraîne des comportements discriminants. L'enjeu est de taille car il en va de la protection de nos droits civiques.

Des algorithmes discriminants

Un algorithme est un « ensemble de règles opératoires dont l'application permet de résoudre un problème énoncé au moyen d'un nombre fini d'opérations. Un algorithme peut être traduit, grâce à un langage de programmation, en un programme exécutable par un ordinateur »(définition du dictionnaire Larousse ). Comment un système qui semble dénué de pensées, de stéréotypes, de mœurs et de morale est-il capable d'émettre des décisions préjudiciables ? Pourtant les exemples ne manquent pas, que ce soit sur Internet, au sein des entreprises ou même des institutions publiques.

Latanya Sweeney, professeur à l'université d'Harvard, a démontré (conférence « Can computers be raciste» présentée à la Ford Foundation en novembre 2015,vimeo.com) que l'algorithme du géant Google en charge de générer des publicités sur Internet, comportait d'importants biais. En effet, d'après ses recherches, lorsqu'une personne tape son nom sur Google, la probabilité que son nom soit associé à une publicité suggérant que la personne possède un casier judiciaire est significativement plus élevée si le nom de cette personne est assimilé à la communauté afro-américaine. Quelle image cela renvoie-t-il à un potentiel employeur qui taperait le nom de ses candidats sur le moteur de recherche ?

En 2016, la Maison-Blanche (rapport « Big Data: a report on algorithmic systems, opportunity, and civil rights », Executive Office of the President Obama, data_discrimination.pdf) se penche sur les conséquences d'une utilisation d'algorithmes par certaines entreprises afin d'optimiser leur processus de recrutement. Les outils d'analyse de données permettraient ainsi de trier et identifier les candidats les plus qualifiés.

Le rapport, très enthousiaste quant aux possibilités offertes grâce à ces outils, note tout de même de nombreux risques : le risque de discrimination à l'embauche peut être augmenté et automatisé. L'utilisation d'algorithme ne permettrait pas non plus d'effacer les effets du « mini-me syndrome », cette tendance à recruter quelqu'un qui nous ressemble, discriminant ainsi, souvent inconsciemment, des profils différents bien que tout autant compétents.

Au sein des services de police et des tribunaux, les algorithmes prédictifs comportent également leur lot de biais. Le cas de Brisha Borden et Vernon Prater révélé dans une enquête du site d'investigations ProPublica le démontre. Brisha est une jeune femme noire de 18 ans, qui a déjà commis des délits mineurs par le passé et Vernon un homme blanc de 41 ans, auparavant incarcéré pendant cinq ans pour vol d'armes. Les deux individus furent arrêtés pour des vols d'une valeur similaire. L'algorithme COMPAS utilisé pour calculer le risque de récidive attribua alors la note de 8/10 à Brisha (haut risque) et celle de 3/10 à Vernon (risque faible). Pourtant quelques années plus tard, aucun autre délit n'avait été enregistré pour Brisha alors que Vernon avait récidivé pour vol pour lequel il purgeait huit ans de prison. Cet exemple illustre le résultat de l'enquête montrant que l'algorithme semble surévaluer le risque de récidive pour une personne afro-américaine et le sous-évaluer pour une personne blanche.

Comment expliquer ce comportement ?

Sommes-nous arrivés à l'ère où les machines sont capables d'émettre un jugement de valeur et de formuler des stéréotypes ? Non, bien sûr. Si le résultat d'algorithmes est discriminant, c'est dans sa construction et son utilisation qu'intervient le problème.

L'écriture du programme est écrite par l'Homme. L'erreur peut donc simplement résider dans la programmation initiale. De plus, l'algorithme se nourrit de la base de données qu'on lui procure afin d'en tirer des modèles récurrents sur lesquels il fondera ses conclusions. Or cette base de données peut être déjà en elle-même biaisée car elle reflète le comportement d'humains.

Enfin, l'algorithme est en apprentissage constant en fonction des nouvelles données qui arrivent, après chaque utilisation de ses calculs. Si les nouvelles données sont issues d'une pratique humaine discriminante, l'algorithme va apprendre cette pratique et ainsi se retrouver à amplifier des comportements déjà présents.

Latanya Sweeney explique ainsi que le résultat biaisé des annonces sur le moteur de recherche Google n'est pas nécessairement dû à de mauvaises données, même s'il interpelle : en effet, 70 % des arrestations concernent des individus blancs, et 28 % des individus noirs (- Total Arrests by Race, FBI crime statistics, 2011). Le biais ne serait pas lié à la programmation initiale, le modèle de publicité suggérée étant le même pour tous types de noms. Il semblerait que le biais de l'algorithme vienne de l'utilisation faite par les usagers.

En effet, lorsqu'une publicité évoque un casier judiciaire pour les noms à consonance afro-américaine, plus de personne cliquent sur le lien pour vérifier la véracité du propos que lorsqu'il s'agit d'un nom à consonance blanche. L'algorithme va alors internaliser ces données et proposer plus fréquemment la publicité pour les noms à consonance afro-américaine car c'est ce qui semble le plus rentable pour la fréquentation du site. Le biais vient alors d'un comportement stéréotypé de l'homme qui va être amplifié par la machine.

Alvaro Bedoya, professeur à l'université de Georgetown, montre également cet effet dans le processus de recrutement (Conférence « How algorithms get prejudiced », Ford Foundation, novembre 2015, vimeo.com). Si l'algorithme sélectionne une première vague de candidats divers pour une session d'entretiens et que sur l'ensemble des candidats, seuls les plus jeunes sont retenus, pour les prochaines sessions, l'algorithme va se souvenir de ce facteur et proposer uniquement des candidats jeunes. Le comportement discriminant n'est donc pas le fruit même de l'algorithme mais du recruteur qui a enseigné à la machine une pratique.

Comment réprimer ces pratiques ?

Comment éviter qu'un individu adopte un comportement discriminant envers un autre individu ? Tout d'abord, l'ensemble de normes et valeurs créés par la société peuvent dissuader un individu d'opter pour un comportement discriminant. Une ligne de conduite éthique est inculquée à travers les différentes institutions de l'Etat, comme l'école.

La loi vient ensuite réprimander les individus dont le comportement n'est pas conforme à cette ligne de conduite. Mais comment faire adopter une ligne de conduite à une machine ? Il s'agit alors de développer une éthique spécifique aux traitements algorithmiques, qui peut être divisée en trois catégories : l'éthique des données (nature des données traitées), l'éthique des algorithmes (fonctionnement du traitement) et l'éthique des pratiques (usage des résultats).

La société ADEL (Algorithm Data Ethics Label) revendique l'élaboration du premier label sur l'éthique des algorithmes de traitement des données numériques. L'ambition est de fournir un cadre de réflexion et de bonnes pratiques concernant la création et l'usage d'algorithmes. Afin de décerner son label, la société se penche sur diverses questions comme la valeur et la pertinence scientifique, le respect de la dimension humaine, la formation de l'utilisateur, le consentement, la sécurité, les discriminations et catégorisations.

En 2017, la CNIL a publié un rapport(6) synthétisant un débat public dont l'une des six problématiques soulevées posait effectivement la question de la création souvent inconsciente - et difficilement repérable - de biais, discriminations et exclusions par les algorithmes et l'intelligence artificielle. Six recommandations opérationnelles ont été apportées, autant pour les pouvoirs publics que pour les entreprises et le grand public : former à l'éthique tous les acteurs de la « chaîne algorithmique » ; rendre les systèmes algorithmiques compréhensibles ; travailler le design des systèmes algorithmiques au service de la liberté humaine ; constituer une plateforme nationale d'audit des algorithmes ; encourager la recherche sur l'IA éthique et lancer une grande cause nationale participative autour d'un projet de recherche d'intérêt général ; renforcer la fonction éthique au sein de l'entreprise.

La question commence ainsi à être étudiée et plusieurs solutions sont mises en place pour y remédier. Dans un monde qui tend de plus en plus à se fier à l'intelligence artificielle, il semble nécessaire de ne pas se reposer sur les quelques recommandations déjà proposées, mais au contraire d'ouvrir le débat de continuer à réfléchir sans cesse afin améliorer cet outil qui augure de belles avancées, en permettant par exemple de repérer des erreurs plus rapidement ou d'effectuer des prévisions plus précisément, pour peu que cet outil reste éthique.

Chronique « Droit, Juriste et Pratique du Droit Augmentés »

Cette chronique a pour objectif, de traiter de questions d'actualité relatives à cette transformation. Dans un contexte où le digital, le big data et le data analytics, le machine learning et l'intelligence artificielle transforment en profondeur et durablement la pratique du droit, créant des « juristes augmentés » mais appelant aussi un « Droit augmenté » au regard des enjeux et des nouveaux business models portés par le digital.
L'EDHEC Business School dispose de deux atouts pour contribuer aux réflexions sur ces sujets. D'une part, son centre de recherche LegalEdhec, dont les travaux – reconnus – à l'intersection entre le droit et la stratégie, et portant sur le management des risques juridiques et la performance juridique, l'amènent aujourd'hui à lancer son nouveau projet A3L (Advanced Law, Lawyers and Lawyering). D'autre part, ses étudiants, et en particulier ceux de sa Filière Business Law and Management (en partenariat avec la Faculté de droit de l'Université Catholique de Lille) et de son LLM Law & Tax Management, dont la formation et les objectifs professionnels les placent au cœur de ces enjeux du digital.




Ses derniers articles

Abonnez-vous à l'offre Papier + Numérique

Affiches Parisiennes Journal d'information juridique et d'annonces légales

  • ›   Pour plus de contenu, papier + web
  • ›   l’accès aux annonces légales,
  • ›   l’accès aux ventes aux enchères.
Je m'abonne

À lire également


Réagir à cet article

Message déjà envoyé Adresse e-mail non valide


Fermer
En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies et de technologies similaires par notre société ainsi que par des tiers, afin de réaliser des statistiques d'audiences et de vous proposer des services éditoriaux et la possibilité de partager des contenus sur des réseaux sociaux. En savoir plus / paramétrer