Weapons of Math Destruction

Publié le 5 mai 20195 mai 2019 par Herve Kabla

Et si les mathématiques, l’informatique, le Big Data et l’Intelligence Artificielle, contribuaient à accroître les inégalités et le malheur d’un grand nombre d’êtres humains sur cette planète? C’est le propos du livre de Cathy O’Neil. Mathématicienne passée pas un hedge fund et une société de marketing en ligne, elle a pu voir de près ce que les algorithmes ont de pervers. Appliqués avec bienveillance, ils peuvent être utiles; développés dans la perspective d’améliorer le rendement de certaines activités, ils se révèlent ravageurs, ce qu’elle appelle des WMD ou Weapons of Math (lire Mass) Destruction.

En soi, le propos ne présente rien de neuf. Cela fait déjà quelques années que certains auteurs présentent le côté obscur des algorithmes, et les effets pervers induits par leurs usages dans des cas inappropriés. Le mérite de Cathy O’Neil, c’est de creuser un peu le sujet, et de montrer qu’au-delà des algorithmes et de la perte de contrôle des outils motorisés par l’Intelligence Artificielle dont certains auteurs proposent de nous méfier, c’est surtout les modèles sur lesquels s’appuient ces algorithmes, et dans une certaine mesure toute notre société, qui méritent d’être revisités.

Elle passe ainsi en revue plusieurs sujets, de l’éducation à la justice, où la mise en place de système de contrôle ou d’optimisation de la performance produisent des dommages collatéraux à très grande échelle, via des boucles de rétro-action dont les initiateurs de ces outils n’ont probablement pas mesuré l’étendue. Tout y passe, des classements universitaires aux outils d’évaluation des risques financiers, des logiciels de prédiction des prochains actes criminels, de plus en plus utilisés aux Etats-Unis semble-t-il aux systèmes d’optimisation des heures de travail des salariés des grandes franchises de la restauration rapide. Ce n’est pas tant l’IA ou les algorithmes eux-mêmes qui sont dénoncés, mais leurs usages abusifs, au risque e faire perdre toute valeur à nos sociétés démocratiques, basées sur une distribution plus ou moins équitable de la richesse et des savoirs.

Bien entendu, les plateformes de réseaux sociaux et Google sont pointés du doigt. Mais ils ne sont pas les seuls. Et tout l’intérêt de ce livre réside dans ce qu’il nous incite à revoir et repenser nos systèmes centrés sur la performance, au détriment de la justice et de l’équité.