Fermer la publicité
Journal d'information juridique et d'annonces légales

Les algorithmes, une menace pour nos droits et libertés ?

le - - Droit - Actualité du droit

Les algorithmes, une menace pour nos droits et libertés ?
© DR

La Défenseure des droits, Claire Hédon, a participé au dernier e-club LexisNexis consacré à l'actualité juridique et plus précisément aux discriminations indirectes. Des dispositifs pourraient être introduits dès la conception des algorithmes pour éviter certains biais.

Les outils numériques, dont l'usage s'est accru avec la crise sanitaire actuelle, reposent souvent sur des algorithmes, sans que le grand public en soit toujours conscient ou informé. Mais comment se prémunir contre les biais et discriminations qu'ils génèrent et comment mieux les détecter ? C'est pour répondre aux enjeux qui entourent cette question que Florence Creux-Thomas, rédactrice en chef chez LexisNexis a invité dernièrement Claire Hédon pour un entretien intitulé « algorithmes : garantir les droits et libertés fondamentaux ».

Claire Hédon l'a rappelé dès l'entame de la discussion, la lutte contre les discriminations fait partie des principales missions du Défenseur des droits. Le Président de la République a d'ailleurs souhaité renforcer ce rôle en confiant à l'institution le lancement de la plateforme antidiscrimination.fr, également déclinée sous la forme d'un numéro, le 39 28. Une équipe de juristes est chargée d'écouter, d'accompagner et d'orienter gratuitement les personnes pour les rétablir dans leurs droits. Mais si le Défenseur des droits s'intéresse depuis plusieurs années aux liens entre les discriminations et les algorithmes, l'accélération récente de l'usage des outils numériques a conduit en juin dernier l'institution à demander, conjointement avec la Commission nationale de l'informatique et des libertés (Cnil), à ce que soit engagée une réflexion collective sur le sujet.

« Désormais utilisés dans des domaines tels que l'accès aux prestations sociales, la police, la justice ou encore le recrutement, ils constituent des sources de progrès mais sont également porteurs de risques pour les droits fondamentaux », ont souhaité alerter les deux autorités administratives. « Derrière l'apparente neutralité des algorithmes, des recherches ont mis à jour l'ampleur des biais qui peuvent intervenir lors de leur conception et leur déploiement. Tout comme les bases de données qui les alimentent, ils sont conçus et générés par des humains dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations ».

Considérant que cet enjeu ne doit pas être un angle mort du débat public, la Cnil et le Défenseur des droits ont réuni, les 28 et 29 mai dernier, des spécialistes, des chercheurs, des juristes et des développeurs autour des enjeux de transparence des algorithmes et des biais discriminatoires.

Une notion double

Comme l'a rappelé Claire Hédon, une discrimination est un traitement défavorable qui doit généralement remplir deux conditions cumulatives : l'atteinte doit être fondée sur un critère défini par la loi (sexe, âge, handicap…) et relever d'une situation visée par la loi (accès à un emploi, un service, un logement…). Cette situation vaut que l'on soit ou non en présence d'un algorithme. « Le droit applicable reste le même et le principe de non-discrimination doit être respecté », a-t-elle souligné.

Les droits français et européen distinguent la discrimination directe (lorsqu'une personne est traitée de manière moins favorable qu'une autre, en raison des critères précités) et indirecte (quand une disposition, apparemment neutre, entraîne de fait un désavantage pour une personne ou un groupe de personnes présentant les mêmes caractéristiques). « La non-discrimination n'est pas une option, elle renvoie à un cadre juridique qui prévoit une grille d'analyse permettant l'identification des inégalités de traitement, afin de mettre en œuvre un droit fondamental, celui de ne pas être discriminé », a énoncé la Défenseure des droits. Une entreprise qui utiliserait des algorithmes de recrutements en se basant uniquement sur un échantillon de données historiques pour identifier les candidats les plus proches de ceux qui exerçaient auparavant est un exemple de discrimination indirecte. « A partir du moment où seulement des hommes ont été à ce genre de poste, l'algorithme ne va proposer et sélectionner que des hommes, sans pour autant que le critère du sexe lui-même n'ait été mobilisé au départ. L'intention est louable, mais elle aboutit à la fin à une discrimination », a-t-elle expliqué.

De la même façon, la plateforme Parcoursup, chargée de l'affectation des étudiants, a fait l'objet d'une saisine par des requérants. Ces derniers ont notamment pointé l'absence de transparence de la procédure d'affectation et le caractère discriminatoire de certains critères utilisés pour retenir les candidats (leur lieu de résidence ou leur situation sociale). Dans sa décision n° 2019-021, le Défenseur des droits a recommandé à la ministre de l'Enseignement supérieur de faire en sorte que les candidats aient accès à l'ensemble des informations relatives au traitement de leur candidature dès le début de celle-ci et non plus a posteriori. L'institution a aussi alerté sur les dangers liés au recours au critère du lycée d'origine. « Départager les candidats en favorisant certains d'entre eux en fonction du lieu de l'établissement peut être assimilé à une pratique discriminatoire si elle aboutit à exclure des candidats sur ce fondement », a expliqué la Défenseure des droits.

La question des biais

S'il n'y a pas forcément de volonté de nuire, « les outils numériques manquent souvent de représentativité et sont la tradition mathématique de comportement passés souvent discriminatoires ». Les biais de discriminations s'appliquent de manière automatique, de sorte que les algorithmes peuvent avoir tendance à les systématiser et donc à les renforcer au fil du temps. « Cela conduit à d'avantage cibler et contrôler les groupes sociaux déjà défavorisés et dominés », a relevé Claire Hédon. Ces atteintes risquent de rester invisibles pour les victimes elles-mêmes, les chercheurs ne pouvant les mesurer qu'à l'échelle des groupes. « Il est donc primordial pour les concepteurs de se concentrer sur la question des biais dès la conception », a-t-elle indiqué.

D'où la demande, formulée conjointement avec la Cnil, que soient réalisées des études d'impact pour anticiper les effets de discrimination des algorithmes. Cette pratique existe déjà au Canada, où les audits qui incluent les enjeux discriminatoires ont été récemment rendus obligatoires pour les institutions publiques. « Une telle obligation pourrait être introduite en France, sur le modèle de l'analyse d'impact relative à la protection des données déjà prévue par l'article 35 du RGPD », a estimé Claire Hédon, ajoutant que cette analyse préalable obligatoire devrait contenir une évaluation des risques pour les droits et libertés des personnes. Un contrôle régulier des effets des algorithmes pourrait être imposé en sus, sur le modèle du contrôle des effets indésirables des médicaments. Alors que le Défenseur des droits reçoit près de 100 000 réclamations chaque année, seules près de 5 000 concernent les recours en matière discriminatoire. « Il est souvent compliqué d'identifier les discriminations, a fortiori lorsqu'elles sont le fruit d'un système automatisé et apprenant. Pour agir et saisir l'institution, il faudrait que les victimes sachent qu'elles font l'objet de traitements discriminatoires. De plus, les personnes se disent qu'elles n'ont pas de preuve, que la démarche sera compliquée, bien que nous répétions souvent qu'il nous appartient de juger si les preuves existent ou pas », a expliqué Claire Hédon. Une autre difficulté vient des entreprises elles-mêmes, qui opposent aux personnes discriminées la nécessité de protéger le secret des affaires.

Les biais de genre et les algorithmes

Pour Claire Hédon, le faible de nombre de femmes exerçant dans le domaine du code « se traduit par des biais d'étiquetage et un manque de représentativité des données mobilisées ». Si 47 % de filles se retrouvent en terminal S, elles ne sont plus que 10 % à suivre des cursus en informatique dans le supérieur. Il est donc nécessaire d'accentuer les politiques visant à augmenter la diversité et à renforcer les formations aux métiers du numérique pour les femmes. « Mais la diversité n'est pas en soi un gage de non-discrimination », a-t-elle ajouté, précisant que l'ambiance de travail masculine pouvait être propice aux discriminations. « Il faut également ouvrir ces métiers à une appréhension plus globale du monde, sans oublier de donner une place aux personnes en situation de handicap. Pour dépasser le paradigme de la diversité, cela doit être une préoccupation de tous, hommes et femmes », a-t-elle conclu.

Les autres risques

D'autres droits et libertés peuvent être affaiblis du fait de l'utilisation des algorithmes. La reconnaissance faciale en temps réel permet, par exemple, de scanner les visages d'une multitude d'individus dans une foule, de les comparer à une liste de personnes recherchées, afin d'identifier si l'une de ces personnes se trouve dans le champ de la caméra. Or, cette utilisation peut entraîner une violation grave du droit au respect à la vie privée et du droit à la protection des données personnelles, fait observer Claire Hédon. Elle peut aussi avoir un effet dissuasif dans l'exercice de certains droits fondamentaux, comme celui du droit de manifester. Ces systèmes commettent aussi des erreurs en matière de discrimination, et ce, de façon régulière s'agissant des personnes non-blanches. Aux Etats-Unis, trois personnes ont déjà été placées en détention pendant plusieurs mois en raison de ce type d'erreurs.




Ses derniers articles

Abonnez-vous à l'offre Papier + Numérique

Affiches Parisiennes Journal d'information juridique et d'annonces légales

  • ›   Pour plus de contenu, papier + web
  • ›   l’accès aux annonces légales,
  • ›   l’accès aux ventes aux enchères.
Je m'abonne

À lire également


Réagir à cet article

Message déjà envoyé Adresse e-mail non valide


Fermer
En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies et de technologies similaires par notre société ainsi que par des tiers, afin de réaliser des statistiques d'audiences et de vous proposer des services éditoriaux et la possibilité de partager des contenus sur des réseaux sociaux. En savoir plus / paramétrer