L’intelligence artificielle utilise des bases de données qui reflètent les préjugés et les inégalités – Jornal da USP

Moacir Ponti dit que l’IA a tendance à perpétuer les inégalités sociales pour avoir « mal appris » certaines de ses informations

Les IA sont de plus en plus utilisées dans les processus décisionnels cruciaux – Photomontage : Revue USP – Images : Freepik

Au milieu de l’expansion rapide de l’intelligence artificielle (IA), on craint de plus en plus que la technologie perpétue et même intensifie les disparités sociales. Les IA, comme on peut aussi les appeler, sont de plus en plus employées dans des processus décisionnels cruciaux tels que la sélection de candidats à un emploi, l’octroi de prêts, la fixation de peines de justice et même les diagnostics médicaux. Cependant, l’identification récente de cas où l’IA a été influencée par la culture dominante présente dans les bases de données, contribuant à la stratification sociale et accentuant les inégalités, soulève des questions sur l’impact de ces algorithmes.

Les bases de données servant de base au développement des systèmes d’IA reflètent souvent des préjugés et des inégalités préexistants, qui finissent par être reproduits par les décisions prises, comme on peut l’analyser récemment, lorsque le Le projet boulimieun groupe de sensibilisation aux troubles de l’alimentation, a testé des imageurs d’intelligence artificielle, notamment Dall-E 2, Stable Diffusion et Midjourney, pour révéler à quoi ressemble l’idée du programme d’un physique « parfait » chez les femmes et les hommes.

Selon le résultat obtenu, 40% des images montraient des femmes blondes, 30% des femmes aux yeux marrons et plus de 50% avaient la peau blanche, tandis que près de 70% des hommes « parfaits » avaient les cheveux bruns et 23% les yeux marrons. Comme pour les femmes, la grande majorité des hommes avaient la peau blanche et près de la moitié avaient des poils sur le visage.

De nombreux modèles présentaient encore des caractéristiques presque caricaturales, telles que des lèvres charnues, des pommettes ciselées et des muscles super-définis, ainsi qu’une peau sans rides et sans pores et un nez parfait. Toutes les caractéristiques très convoitées imitées à l’aide de la chirurgie plastique et des charges.

Les IA de conception graphique simulent les corps masculins et féminins «parfaits» – Photo: The Bulimia Project

Mais les complications des données préconçues avec des informations, des valeurs et des idéaux ont des conséquences dans les secteurs les plus divers. Le professeur Moacir Ponti, de l’Institut des sciences mathématiques et informatiques de São Carlos (ICMC) à l’USP, souligne que le problème réside dans le développement de l’intelligence artificielle par des individus qui ne comprennent pas cette éventuelle inégalité et dans leur utilisation par des utilisateurs qui comprennent ne sait pas comment ils ont été créés.

Le professeur illustre : « Les algorithmes de sélection des candidats à l’emploi sont formés sur la base des CV précédents et, par conséquent, ont tendance à favoriser certains profils et à en marginaliser d’autres ». Si l’histoire de l’embauche passée est inégale, comme la sélection des hommes pour les postes supérieurs tels que les directeurs, les gestionnaires, les juges et les surintendants, et la sélection des femmes pour les postes tels que les secrétaires, les infirmières et les femmes de chambre, « l’IA a tendance à perpétuer ces modèles automatiquement et voire intensifier la disparité », rapporte Ponti.

Moacir Ponti – Photo : Archives personnelles

L’incident a été observé dans la société Amazon, qui a utilisé un outil d’intelligence artificielle pour aider l’équipe RH à embaucher des professionnels, en automatisant la recherche de candidats et en effectuant une présélection des candidats. Le système a analysé les CV envoyés, attribuant à chacun une note de 1 à 5 étoiles, dans le même schéma que les produits vendus dans sa boutique en ligne.

La discrimination de l’outil à l’encontre des candidatures féminines dans le processus de sélection des nouveaux employés s’explique par le fait qu’il a été créé sur la base de normes de CV envoyées à l’entreprise au cours des dix dernières années. Dans la grande majorité, ces CV émanaient d’hommes, comme c’est le cas dans la plupart de l’industrie technologique, considérant ainsi les candidats masculins naturellement plus adaptés aux postes vacants.

Une simple mention du terme femmes dans le programme a été pénalisée par l’outil et a réduit les chances des professionnelles d’obtenir le poste vacant, « non pas parce que l’outil est sexiste, mais parce qu’elles l’ont mal appris », informe Ponti.

Lívia Oliveira – Photo: LinkedIn

Lívia Oliveira, professeur d’informatique, affirme que des injustices raciales peuvent découler de l’utilisation de l’intelligence artificielle, principalement dans la gestion des peines judiciaires. elle commente que l’IA est beaucoup plus stricte avec les noirs qu’avec les blancs. « Un juge, en saisissant les données de deux personnes pour calculer le temps d’incarcération, attribuerait une valeur bien inférieure à la personne blanche par rapport à la personne noire. Ce préjugé racial contribue à l’incarcération disproportionnée des personnes de couleur.

Lívia corrèle également la base de données et la stratification sociale à ChatGPT et explique comment les IA ont tendance à être basées sur le point de vue dominant de la société. « ChatGPT, lorsqu’on lui a demandé qui a construit l’avion, mentionnerait les frères Wright, tandis que les Brésiliens associeraient Santos Dumont, car les frères Wright sont des personnalités des États-Unis, qui ont le point de vue dominant sur cet outil. »

Elle poursuit en affirmant que ce type d’uniformité des connaissances selon qui dirige l’IA a le pouvoir d’étouffer les histoires et les conclusions minoritaires, en privilégiant le point de vue majoritaire.

Les IA ont tendance à être basées sur le point de vue dominant de la société – Photo : Archives personnelles

Face à ces problèmes, les deux professeurs conviennent que les programmeurs ont une obligation éthique et morale, car ils sont responsables de façonner des systèmes qui peuvent avoir un impact significatif sur la société. « C’est une maxime parmi les professionnels de l’informatique que tous les modèles sont faux et doivent donc être évalués, réévalués, testés et vérifiés. » rapporte Livia.

Pour elle, le professionnel qui travaille au sein de l’éthique doit tester les faux positifs et les faux négatifs, identifier les erreurs et les effets des décisions basées sur des algorithmes. « La formation à l’IA ne consiste pas à exécuter des algorithmes, mais à comprendre vos données et l’impact qu’elles peuvent avoir, car leur compréhension et une formation appropriée sont essentielles au développement responsable de l’IA. »


Journal de l’USP en direct
Jornal da USP no Ar est un partenariat entre Rádio USP et l’École polytechnique et l’Institut d’études avancées. Nonen ondes, sur Rede USP de Rádio, du lundi au vendredi : 1ère édition de 7h30 à 9h00, avec une présentation de Roxane Ré, et autres éditions à 14h00, 15h00 et 4 : 45h. À Ribeirão Preto, l’édition régionale sera diffusée de 12h à 12h30, avec des présentations de Mel Vieira et Ferraz Junior. Vous pouvez syntoniser Rádio USP à São Paulo FM 93.7, à Ribeirão Preto FM 107.9, sur Internet à www.jornal.usp.br ou via l’application Jornal da USP sur votre téléphone portable.