Aujourd’hui, la recommandation de lecture concerne un ouvrage qui a quelques années mais dont les fondamentaux restent vrais : Algorithmes : la bombe à retardement de Cathy O’Neil

Quand les données et les modèles accentuent les inégalités sociales

Dans Algorithmes : la bombe à retardement (Les Arènes, 2018), Cathy O’Neil, mathématicienne et ancienne analyste chez Wall Street, démystifie la prétendue neutralité des algorithmes.

Elle y décrit comment certains modèles mathématiques — largement utilisés dans l’administration, la justice, les ressources humaines, l’assurance ou l’éducation — agissent comme de véritables “bombes à retardement” sociales, invisibles mais profondément destructrices pour des millions de personnes.

Qu’est-ce qu’une “arme de destruction mathématique” ?

Cathy O’Neil appelle Weapons of Math Destruction (ou WMD, qu’elle traduit par bombes à retardement) les modèles algorithmiques qui partagent trois caractéristiques :

1. Ils sont opaques : les données et règles qui les gouvernent ne sont ni visibles ni compréhensibles pour ceux qu’ils affectent.
2. Ils ont une portée massive : ils s’appliquent à des millions de cas, parfois à l’échelle nationale ou mondiale.
3. Ils causent des dommages : leurs résultats renforcent ou aggravent les inégalités sociales existantes.

L’idée-force du livre : un algorithme peut être mathématiquement sophistiqué tout en étant socialement destructeur.

Trois exemples emblématiques développés dans le livre

1️ L’évaluation automatisée des enseignants : quand l’algorithme licencie à tort

Dans plusieurs États américains, des professeurs sont évalués en fonction des résultats de leurs élèves à des tests standardisés. Des algorithmes tentent de mesurer “l’effet-enseignant”, c’est-à-dire la valeur ajoutée pédagogique d’un professeur.

Mais ces modèles ignorent des facteurs-clés :

• le niveau initial des élèves,
• leur situation familiale,
• les conditions matérielles de l’établissement,
• ou encore les hasards du calendrier scolaire.

Résultat : des enseignants compétents, travaillant dans des quartiers défavorisés, sont mal notés et parfois licenciés à cause d’un calcul aveugle.

Dommage collatéral : une peur constante, un stress permanent, et la dévalorisation d’un métier fondamental.

2️ COMPAS et la justice prédictive : le danger des biais raciaux codifiés

Le logiciel COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) est utilisé aux États-Unis pour évaluer le risque de récidive des prévenus.

En 2016, une enquête de ProPublica a montré que :

• les personnes noires avaient deux fois plus de chances d’être faussement classées “à haut risque” que les personnes blanches ;
• alors que les personnes blanches avaient plus souvent des crimes récidivés… tout en étant jugées “à faible risque”.

Ce modèle est alimenté par des données policières historiques biaisées (taux d’interpellations, zones géographiques sur-surveillées), ce qui crée un cercle vicieux :

les biais du passé deviennent les décisions du présent.

Problème fondamental : la justice automatisée échappe au débat, au contre-examen, et souvent au droit.

3️ Le crédit et l’assurance : l’algorithme juge votre solvabilité… sans vous connaître

Les modèles de scoring bancaire ou assurantiel exploitent des données personnelles (code postal, fréquence de navigation, panier d’achats, historique de paiement, etc.) pour calculer un score de risque.

Ces modèles ne sont pas illogiques, mais ils sont injustes :

• vivre dans un quartier populaire,
• être passé par une université inconnue,
• avoir eu une coupure Internet…

… peut suffire à vous exclure du crédit, de la location, ou d’une assurance abordable, sans explication.

L’effet de masse est vertigineux : ces modèles tracent une frontière invisible entre les “bons clients” et les autres, reproduisant des hiérarchies sociales sous couvert de calculs neutres.

Les grands dangers identifiés par Cathy O’Neil

Cathy O’Neil ne s’attaque pas à “la tech” en général, mais à un type particulier de modèles statistiques et informatiques qui deviennent dangereux quand :

• ils s’auto-alimentent : les décisions prises par l’algorithme produisent de nouvelles données biaisées, qui alimentent le modèle…
• ils ne sont pas audités : aucun contrôle externe, aucune obligation de justifier leurs critères ou leur fonctionnement.
• ils évacuent l’humain : ils prennent des décisions sans que personne ne puisse les discuter ou les corriger.

“Ces modèles ne cherchent pas à comprendre. Ils optimisent.”

Ils peuvent donc être très performants, mais totalement injustes.

Les solutions proposées : vers des algorithmes responsables

Cathy O’Neil appelle à une prise de conscience collective, et propose plusieurs leviers d’action :

• Imposer des audits réguliers des algorithmes déployés à grande échelle (comme une inspection des systèmes).
• Rendre les modèles explicables, ou au minimum contestables par les citoyens.
• Mettre en débat démocratique les choix algorithmiques : quelles données sont utilisées ? Quels critères sont retenus ? Quels impacts sont mesurés ?

Le but n’est pas de rejeter l’algorithme, mais de le rendre transparent, éthique et contrôlable.

Ce que ce livre change dans notre regard

✔️ Il dévoile les mécanismes invisibles derrière des décisions qui semblent anodines (refus de prêt, licenciement, condamnation).

✔️ Il nous apprend que les algorithmes ne corrigent pas les biais humains — ils les automatisent.

✔️ Il nous rappelle qu’aucune décision automatisée n’est jamais “neutre” dès lors qu’elle touche des vies humaines.

À retenir :

“Les modèles mathématiques ne sont pas neutres. Ils codifient le passé en le figeant dans l’avenir.”

Et vous ?

Avez-vous déjà ressenti l’effet d’une décision algorithmique ?

Un refus, une évaluation, une note, sans comprendre pourquoi ?

#LectureIA #ÉthiqueTechnologique #Algorithmes #CathyONeil #IAResponsable #TransparenceAlgorithmique #frenchtouchattitude