Connexion
Vivre dans lâutopie algorithmique
Cet article est une republication, avec lâaccord de lâauteur, Hubert Guillaud. Il a Ă©tĂ© publiĂ© en premier le 03 fĂ©vrier 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.
Lâutopie algorithmique des puissants est la dystopie algorithmique des dĂ©munis.
Dans un article de recherche de 2021, intitulĂ© « Vivre dans leur utopie : pourquoi les systĂšmes algorithmiques crĂ©ent des rĂ©sultats absurdes », lâanthropologue et data scientist amĂ©ricain, Ali Alkhatib pointait le dĂ©calage existant entre la promesse technicienne et sa rĂ©alitĂ©, qui est que ces systĂšmes dĂ©ploient bien plus de mauvaises dĂ©cisions que de bonnes. La grande difficultĂ© des populations Ă sâopposer Ă des modĂšles informatiques dĂ©fectueux condamne mĂȘme les systĂšmes bien intentionnĂ©s, car les modĂšles dĂ©faillants sĂšment le doute partout autour dâeux. Pour lui, les systĂšmes algorithmiques tiennent dâune bureaucratisation pour elle-mĂȘme et promeuvent un Etat administratif automatisĂ©, autorisĂ© Ă menacer et accabler ses populations pour assurer sa propre optimisation.
La raison de ces constructions algorithmiques pour trier et gĂ©rer les populations sâexpliquent par le fait que la modernitĂ© produit des versions abrĂ©gĂ©es du monde qui ne sont pas conformes Ă sa diversitĂ©, Ă lâimage des ingĂ©nieurs du XVIIIá” siĂšcle, racontĂ© par lâanthropologue James C. Scott dans LâOeil de lâEtat, qui, en voulant optimiser la forĂȘt pour son exploitation, lâont rendue malade. Nos modĂšles sont du mĂȘme ordre, ils produisent des versions du monde qui nây sont pas conformes et qui peuvent ĂȘtre extrĂȘmement nuisibles. « Les cartes abrĂ©gĂ©es conceptuelles que les forestiers ont crĂ©Ă©es et utilisĂ©es sont des artefacts qui rĂ©sument le monde, mais elles transforment Ă©galement le monde ». Nous sommes cernĂ©s par la croyance que la science et la technologie vont nous permettre de gĂ©rer et transformer la sociĂ©tĂ© pour la perfectionner. Ce qui, comme le dit Scott, a plusieurs consĂ©quences : dâabord, cela produit une rĂ©organisation administrative transformationnelle. Ensuite, cette rĂ©organisation a tendance Ă sâimposer dâune maniĂšre autoritaire, sans Ă©gards pour la vie â les gens qui nâentrent pas dans les systĂšmes ne sont pas considĂ©rĂ©s. Et, pour imposer son rĂ©ductionnisme, cette rĂ©organisation nĂ©cessite dâaffaiblir la sociĂ©tĂ© civile et la contestation.
La rĂ©organisation administrative et informatique de nos vies et les dommages que ces rĂ©organisations causent sont dĂ©jĂ visibles. Lâorganisation algorithmique du monde dĂ©classe dĂ©jĂ ceux qui sont dans les marges du modĂšle, loin de la moyenne et dâautant plus Ă©loignĂ©s que les donnĂ©es ne les ont jamais reprĂ©sentĂ©s correctement. Câest ce que lâon constate avec les discriminations que les systĂšmes renforcent. « Le systĂšme impose son modĂšle au monde, jugeant et punissant les personnes qui ne correspondent pas au modĂšle que lâalgorithme a produit dans lâintĂ©rĂȘt dâun objectif apparemment objectif que les concepteurs insistent pour dire quâil est meilleur que les dĂ©cisions que les humains prennent de certaines ou de plusieurs maniĂšres ; câest la deuxiĂšme qualitĂ©. Leur mĂ©pris pour la dignitĂ© et la vie des gens â ou plutĂŽt, leur incapacitĂ© Ă conceptualiser ces idĂ©es en premier lieu â les rend finalement aussi disposĂ©s que nâimporte quel systĂšme Ă subjuguer et Ă nuire aux gens ; câest la troisiĂšme qualitĂ©. Enfin, nos pratiques dans la façon dont les Ă©thiciens et autres universitaires parlent de lâĂ©thique et de lâIA, sapant et contrĂŽlant le discours jusquâĂ ce que le public accepte un engagement rigoureux avec « lâalgorithme » qui serait quelque chose que seuls les philosophes et les informaticiens peuvent faire, agit comme une dĂ©possession du public ; câest la quatriĂšme et derniĂšre qualitĂ©. »
Comme les forestiers du XVIIIá”, les informaticiens imposent leur utopie algorithmique sur le monde, sans voir quâelle est dâabord un rĂ©ductionnisme. Le monde rĂ©duit Ă des donnĂ©es, par nature partiales, renforce sa puissance au dĂ©triment des personnes les plus Ă la marge de ces donnĂ©es et calculs. Les modĂ©lisations finissent par se dĂ©tacher de plus en plus de la rĂ©alitĂ© et sont de plus en plus nuisibles aux personnes exclues. Ali Alkhatib Ă©voque par exemple un systĂšme dâadmission automatisĂ© mis en place Ă lâuniversitĂ© dâAustin entre 2013 et 2018, « Grade », abandonnĂ© car, comme tant dâautres, il avait dĂ©savantagĂ© les femmes et les personnes de couleur. Ce systĂšme, conçu pour diminuer le travail des commissions dâadmission ne tenait aucun compte de lâorigine ou du genre des candidats, mais en faisant cela, valorisait de fait les candidats blancs et masculins. Enfin, le systĂšme nâoffrait ni voie de recours ni mĂȘme moyens pour que les candidats aient leur mot Ă dire sur la façon dont le systĂšme les Ă©valuait.
LâIA construit des modĂšles du monde qui nous contraignent Ă nous y adapter, explique Ali Alkhatib. Mais surtout, elle rĂ©duit le pouvoir de certains et dâabord de ceux quâelle calcule le plus mal. En cherchant Ă crĂ©er un « monde plus rationnel », les algorithmes dâapprentissage automatique crĂ©ent les « façons dâorganiser la stupiditĂ© » que dĂ©nonçait David Graeber dans Bureaucratie (voir notre lecture) et ces modĂšles sont ensuite projetĂ©s sur nos expĂ©riences rĂ©elles, niant celles qui ne sâinscrivent pas dans cette rĂ©duction. Si les IA causent du tort, câest parce que les concepteurs de ces systĂšmes leur permettent de crĂ©er leurs propres mondes pour mieux transformer le rĂ©el. « Les IA causent du tort, parce quâelles nous exhortent Ă vivre dans leur utopie ». Lorsque les concepteurs de systĂšmes entraĂźnent leurs modĂšles informatiques en ignorant lâidentitĂ© transgenre par exemple, ils exigent que ces personnes se dĂ©barrassent de leur identitĂ©, ce quâelles ne peuvent pas faire, comme le montrait Sasha Constanza-Chock dans son livre, Design Justice, en Ă©voquant les blocages quâelle rencontrait dans les aĂ©roports. MĂȘme chose quand les systĂšmes de reconnaissance faciales ont plus de mal avec certaines couleurs de peau qui conduisent Ă renforcer les difficultĂ©s que rencontrent dĂ©jĂ ces populations. Pour Ali Alkhatib, lâhomogĂ©nĂ©isation que produit la monoculture de lâIA en contraignant, en effaçant et en opprimant ceux qui ne correspondent pas dĂ©jĂ au modĂšle existant, se renforce partout oĂč lâIA exerce un pouvoir autoritaire, et ces prĂ©judices sâabattent systĂ©matiquement et inĂ©vitablement sur les groupes qui ont trĂšs peu de pouvoir pour rĂ©sister, corriger ou sâĂ©chapper des calculs. Dâautant quâen imposant leur rĂ©duction, ces systĂšmes ont tous tendance Ă limiter les contestations possibles.
En refermant les possibilitĂ©s de contestation de ceux qui nâentrent pas dans les cases du calcul, lâutopie algorithmique des puissants devient la dystopie algorithmique des dĂ©munis.
