Aux Etats-Unis, une association défendant les droits civiques se bat pour que les autorités américaines (notamment la police) cessent d’utiliser Rekognition, l’outil de reconnaissance faciale d’Amazon : en plus de violer les droits civiques, cette application serait inefficace. Rekognition a en effet considéré que 28 membres du Congrès américain étaient des criminels…
L’Union américaine pour les libertés civiles (ACLU) ne desserre pas l’étreinte : l’association se bat pour faire interdire l’utilisation de Rekognition, l’outil de reconnaissance faciale d’Amazon, par les autorités américaines, gouvernement, Etats, et surtout police. Le premier argument, lancé depuis le mois de mai 2018, était qu’elle violait les droits civiques.
28 membres du Congrès sur 535 reconnus comme criminels par Rekognition !
Mais une expérience faite par l’ACLU lui a permis d’ajouter un nouvel argument choc : Rekognition n’est pas efficace. L’association a voulu tester le système de reconnaissance faciale en lui proposant les photographies des 535 membres du Congrès américain. Puis elle les a comparé à 25 000 photos de criminels, prises après leur arrestation, où seuls sont visibles le visage et les épaules du prisonnier, de face et de profil.
L’ACLU a ensuite utilisé les paramètres par défaut de Rekognition et l’a laissé chercher des correspondances. Et, mauvaise surprise, d’après l’intelligence artificielle, 28 membres du Congrès correspondent à des photos de criminels !
Des risques de dérives dangereuses dans l’utilisation de l’outil par les forces de l’ordre
« Les membres du Congrès qui ont été faussement identifiés dans la base de photos de criminels que nous avons utilisée pour ce test incluent des Républicains et Démocrates, des hommes et des femmes, des législateurs de tous âges, originaires de tout le pays », assure l’association l’ACLU.
L’association a donc pu mettre en garde, de façon extrêmement concrète, contre les conséquences d’une utilisation de Rekognition par la police : « Si les forces de l’ordre utilisent Amazon Rekognition, il n’est pas difficile d’imaginer un policier obtenant un ‘match’ qui lui indiquerait qu’une personne à déjà été arrêtée pour port d’arme dissimulée, ce qui biaise cet officier avant même qu’il ait rencontré cette personne. Ou que les forces de l’ordre viennent sonner chez une personne pour l’interroger et fouiller sa maison, à cause d’une fausse pièce d’identité », pointe l’ACLU.
Amazon plaide pour un mauvais paramétrage…
La réponse d’Amazon n’a pas tardé, et la défense de la compagnie tient en deux chiffres : 80 % et 95%. Les paramètres par défaut de Rekognition ont un seuil de confiance fixé à 80% (c’est à dire que l’IA juge qu’il y a correspondance dès qu’elle estime que 80% des traits sont identiques), efficace pour identifier les animaux ou les objets.
Pour des données aussi sensibles et des visages humains, Amazon affirme qu’il faut régler Rekognition sur 95%. L’ACLU a, à nouveau, réagi, en soulignant que le géant du net ne précise pas, lors de l’installation du logiciel, qu’il faut le paramétrer ainsi et que rien n’empêche les forces de police, même en étant au courant du « bon » paramétrage, d’utiliser, sciemment ou non, un paramétrage erroné.
…mais sans calmer les ardeurs de l’ACLU, déterminée à aller jusqu’au bout !
Pour l’association, cette petite expérience démontre les limites de cet outil, et le danger qu’il y a à le mettre à disposition des forces de l’ordre. L’ACLU rappelle également que, si le gouvernement a recommandé l’utilisation de Rekognition, c’est aussi parce que l’outil était peu onéreux (12 dollars par mois).
Le risque qu’il puisse être utilisé indûment par des policiers (ou autres personnes y ayant accès) le transformant en outil de surveillance des personnes, au mépris de leur vie privée, était pour l’ACLU une raison suffisante de demander son retrait. Mais si, en plus, des outils de paramétrages mal pensés peuvent transformer un respectable sénateur en dangereux repris de justice, il y a de quoi s’inquiéter grandement…