Ces algorithmes qui choisissent à votre place

Sous l’influence non pas d’un algorithme, mais d’un excellent ami, j’ai littéralement dévoré le livre de Cathy O’Neil, Algorithmes – La Bombe à Retardement (ed. Les Arènes), préface de Cédric Villani. 

“Qui choisit votre université ? Qui vous accorde un crédit, une assurance, et sélectionne vos professeurs ? Qui influence votre vote aux élections ?” Mathématicienne de formation, Cathy O’Neil a travaillé sur la modélisation financière pour le fond spéculatif D.E Shaw. Après l’effondrement économique de 2008, elle s’engage dans le mouvement Occupy Wall Street. Elle met à nôtre disposition cette combinaison précieuse de savoirs académiques, pratiques et politiques. Au travers d’exemples explicites, qui concernent tout le monde et tous les jours, tels que l’école, le sport, les élections, notre épargne, notre logement, le maintien de l’ordre, ou encore les transports. 

Pour moi qui travaille constamment sur la base de la compréhension des algorithmes dans le marketing et son automatisation, cet ouvrage exergue mon devoir de vigilance et d’information. Il aiguisera assurément le vôtre. 

Les Armes de Destruction Mathématiques

Cathy définit les modèles mathématiques nuisibles et opaques par le terme de ADM, Arme de Destruction Mathématique (Weapons of Math Destruction). Ces ADM encodent les préjugés, les malentendus, et les partis pris humains. Et ce souvent malgré la bonne intention initiale de leurs concepteurs. Au sujet des biais de conception des algorithmes, vous pouvez également lire la scientifique numérique Aurélie Jean, “De l’autre côté de la machine”. 

Le point de départ des ces ADM est la volonté de réduire au minimum des critères d’appréciation humains, et donc subjectifs. En s’appliquant sur de grands nombre, le fameux Big Data, la promesse est de compenser les exceptions et les anomalies. 

Mais il y a quatre soucis : 

1. Ils ont une fâcheuse tendance à punir les plus défavorisés.
2. Les ADM définissent leur propre réalité et s’auto justifient.
3. La corrélation présumée entre 2 scores (votre solvabilité bancaire pour votre performance présumée pour un emploi par exemple). 
4. La boîte noire : l’impossibilité d’expliquer et de comprendre son score. 

Ces ADM contrôlent des moments clé de notre existence, comme entrer à l’université, purger une peine de prison, ou trouver et conserver un emploi ou un logement. Avec des modèles secrets (donc non démocratiques), un résultat inconnu du récipiendaire (donc sans possibilité de se justifier pour corriger) et le plus souvent arbitraire (donc injuste). 

La construction d’un modèle numérique 

Pour qu’un modèle ait une chance de fonctionner, il est nécessaire : 

1. d’avoir accès aux données brutes, nécessité de transparence, 
2. d’avoir des données en lien direct avec le comportement étudié, nécessité d’honnêteté. 

Il est par exemple dangereux de corréler des données supplétives (par manque de données brutes en lien direct), comme relier un code postal de l’adresse d’un individu avec la probabilité qu’il travaille correctement ou rembourse son prêt. C’est en plus illégal, mais non contrôlé.

Le modèle est donc toujours une simplification du monde réel. Et cette simplification va révéler des angles morts et des priorités, qui sont les choix reflétant les jugements humains. Ils sont partiaux, et le reflet d’une idéologie et d’objectifs insérés dans un système mathématique. Il en résulte la prédiction binaire que toutes les personnes avec un ensemble de caractéristiques communes vont se comporter de façon similaire. 

Cathy cite l’exemple d’un questionnaire utilisé en matière de condamnations pénales pour anticiper les risques de récidives, et donc diminuer les coûts d’hébergement des détenus. A la question “Quelle est la première fois que vous avez eu affaire à la police?”, un criminel ayant grandi dans une zone résidentielle aisée n’a souvent aucun incident préalable à signaler. En revanche un jeune homme d’origine ethnique Africaine issu d’une banlieue pauvre aura probablement déjà été arrêté des dizaines de fois, même s’il n’avait rien à se reprocher. Le choix de la question crée un biais évident lié à une corrélation non justifiée.

Le Big Data à l’épreuve du choix entre équité et efficacité

Les concepteurs des algorithmes sont donc le plus souvent confrontés aux choix cornélien entre équité et efficacité. Si nos constitutions et lois sont construites sous l’égide de l’équité dans nos pays démocratiques, en revanche les algorithmes favorisent l’efficacité. 

Car si ils se nourrissent de données qui peuvent être mesurées et comptabilisées, en revanche l’équité est difficile à appréhender et à comptabiliser. C’est concept philosophique, avec des applications pratiques variables dans le temps avec l’évolution des mœurs et des valeurs. Les algorithmes essaient – en vain – de mesurer le concept d’amitié au nombre de likes et de relations sur Facebook. 

La question est donc est ce que l’on est prêt à sacrifier un peu d’efficience dans l’intérêt de l’équité ? 

Pour exemple, Cathy reprend les modèles utilisés par les policiers pour organiser les patrouilles de surveillance. Les algorithmes, tels qu’ils ont été conçus, privilégient les banlieues pauvres. Elle pose alors la question de ce qui se passerait, si au nom de l’égalité (concept encore différent de l’équité), les contrôles s’exercent indifféremment dans les zones résidentielles et banlieues pauvres. Il en résulterait probablement une hausse de statistiques sur des conducteurs ivres, des violences conjugales. Après plusieurs placages au sol avec bras tordus et menottes en public, il en résulterait certainement des injures et des menaces. Le tout viendrait nourrir l’algorithme et justifier de mettre plus de patrouilles dans la zone résidentielle aisée, afin de lutter contre les propriétaires de Mercedes garées en double file refusant d’en sortir et inculpés de rébellion ! 

Et ce d’autant plus que l’algorithme de récidive imaginé en milieu carcéral que nous avons déjà décrit viendra lui-même se nourrir de ces nouvelles données pour justifier de peines plus longues à l’encontre des citoyens aisés. 

Un beau raisonnement par l’absurde.

Le paradoxe de Simpson, ou l’angoisse au quotidien

En statistique, le Paradoxe de Simpson correspond à un corpus de données qui affiche une tendance d’ensemble, mais que, une fois divisé en sous-groupe, c’est la tendance inverse qui apparaît. Ce qui induit des affirmations gravement inexactes, pouvant conduire à des exclusions et une angoisse existentielle. 

Cathy l’illustre avec un programme initié dans les années 1980 aux Etats-Unis afin de lutter contre une supposée montée de la médiocrité dans les établissements scolaires, menaçant la domination des USA dans le monde. Sur la base du test SAT (Scholastic Assessment Test) toujours en vigueur. Et comme la variable d’ajustement choisie a été les enseignants, ils se sont mis à vivre la terreur de la note pour conserver leur emploi. Dès lors il suffisait d’avoir 2 élèves avec des écarts types forts – avec de grosses difficultés, ou au contraire très brillants – pour voir sa note descendre en flèche. Les scores des premiers, à cause de leurs troubles d’apprentissages, les seconds car leur marge de progression est faible. Chaque enseignant se voit en plus prédire un score fonction des inégalités sociales par quartier, afin d’assurer l’équité des résultats. Puis s’ il ne l’atteint pas, la faute lui en incombe. Hors d’un point de vue mathématique, associer la donnée primaire (les notes des élèves) avec sa dérivée (les inégalités sociales) produit des résultats aléatoires, ce que l’on appelle le bruit, sans aucune moyenne possible. 

Sous des apparences d’objectivité et d’équité, l’algorithme produit alors une terreur contre-productive. Il suffirait alors de l’arrêter et de concevoir une autre façon d’évaluer. Sauf que les politiques ont alors peur de perdre le vote des populations aisées situées dans les meilleurs regroupements scolaires et favorisés par l’algorithme. La question se pose alors de savoir si l’algorithme sert à améliorer le système, ou à trouver des boucs émissaires et à intimider les travailleurs. 

Dommages collatéraux des algorithmes

Cathy illustre concrètement les dommages collatéraux que peuvent créer les algorithmes sur un sujet quasi universel : l’emprunt bancaire.

Dans les petites villes provinciales dans les années 1950 à 80, traditionnellement le conseiller bancaire était au courant de tout. Il connaissait sa communauté car il en était issu, sait qui de ses clients fréquente l’église, ou passe un moment familial difficile, sait ce que son patron (ou son partenaire de golf) pense de lui, etc. Tous ces éléments lui permettaient intuitivement et factuellement de juger de la pertinence d’octroyer un crédit. Souvent il faisait d’abord confiance aux gens de son milieu. Et c’était parfaitement injuste.

Puis les algorithmes ont proliféré pour opérer le scoring de chacun et décider en lieu et place du jugement du conseiller. Ils se nourrissent de tout un tas de données factuelles et bruts : votre épargne, vos remboursements, l’historique de vos employeurs, de vos factures d’eau et d’énergie, vos loyers. Ces données là, vous y avez accès et pouvez les corriger. Mais d’autres données agrégées, appelées e-scores, vont être aussi utilisées et de façon opaque. Comme votre code postal qui va être corrélé aux statistiques de remboursement des habitants de cette zone, vos habitudes de navigation internet corrélées à des catégories sociales, etc. 

En quelques secondes, les algorithmes analysent des données agrégées d’un individu et les comparent à des “gens comme lui”. Si un nombre “suffisant” de “semblables” se révèlent être des criminels ou mauvais payeurs, alors il sera traité comme tel. Selon l’adage “qui se ressemble, s’assemble”. Et finalement la prédiction risque fort de se montrer autoréalisatrice, vous poussant dans la misère et peut-être une forme de criminalité ou d’impossibilité à honorer vos engagements. Car ces mêmes e-score seront également utilisées comme données agrégées pour qualifier ce même individu lors d’un entretien d’embauche. C’est une spirale infernale. 

On le voit, ce n’était pas mieux avant. Mais au moins on pouvait encore espérer agir sur le jugement humain en ayant un contact direct. Avec l’algorithme c’est impossible, car personne ne sait ce qu’il y a dedans : ni son utilisateur, ni sa victime. 

L’individualisation des services va à l’encontre de la solidarité et de l’équité

L’exemple des assurances est particulièrement évocateur. Prenons celui des assurances automobiles. Après avoir analysé 2 milliards de devis en 2015, l’équivalent US de Que Choisir s’est aperçu d’incohérences liées au e-score. Des conducteurs dont l’historique d’accident était vierge, mais qui avec un mauvais score de crédit, payaient en moyenne $1.552 de prime annuelle en plus que des personnes ayant eu une condamnation pour conduite en état d’ivresse mais avec un historique de remboursement de leur crédit parfait. 

Alors pourquoi choisir ce critère discriminant peu logique ? Cathy y voit un bénéfice immédiat pour les assureurs. En privilégiant ce critère, ils font payer plus cher une population plutôt en situation précaire, qui a peu de choix, ne compare pas, et a besoin impérativement de la voiture pour travailler. De plus, il représente un risque faible d’accident, et se trouve extrêmement rémunérateur. Plus qu’un conducteur payant bien ses dettes et fracassant sa voiture ivre. Cynique. 

Algorithme et citoyens, de la connaissance à la manipulation

Les politiques se sont appropriés le marketing moderne. Aussi bien pour aller chercher des financements de campagne, que pour cibler la communication et orienter le vote des indécis. 

Les équipes de campagne d’Obama ont été précurseurs. Ils ont travaillé à identifier , comme pour les grandes marques B2C de cosmétiques ou de lessives, les individus aux profils similaires. Ensuite de faire de l’A/B testing sur chaque groupe pour valider les messages qui fonctionnent le mieux. Via des milliers de tests et d’ajustements, ils ont identifié 15 millions d’électeurs indécis. A l’instar d’entreprises comme Netflix ou Amazon, chaque électeur est alors identifié selon son potentiel de donateur ou sensible à des questions environnementales ou de sécurité nationale. 

4 ans plus tard, l’équipe de Hillary Clinton a utilisé les services d’une startup (The Groundwork) financée par le président de Google, Eric Schmidt. En allant encore plus loin dans le micro-ciblage et la contextualisation des messages. Quand la Coalition Juive Républicaine se réunit dans un casino de Las Vegas, une série de publicité digitale sur l’attachement de la candidate à l’égard d’Israël et de sa sécurité apparaissent uniquement pour les ordinateurs situés dans le complexe hôtelier. 

Le souci est que les programmes politiques se font et se défont au gré de ce que remontent les data, négligeant la cohérence d’une vision et d’une volonté politique. Par ailleurs, comme une boucle de rétroaction, les électeurs méprisés risquent d’être désabusés, voir en colère.

Pourtant les mêmes modèles pourraient être utilisés au bénéfice des citoyens. Cathy évoque que lors d’une élection municipale une campagne de micro-ciblage pourrait identifier les électeurs mécontents du coût élevé des loyers. Et le candidat une fois élu peut alors s’appuyer sur ces données pour identifier ceux qui auraient le plus intérêt à bénéficier d’un HLM et les aider à l’obtenir.

Le problème réside donc, comme toujours avec les outils, sur l’objectif poursuivi. L’intention conditionne le bénéficiaire de la manipulation. 

Conclusion

L’injustice a toujours existé, qu’elle résulte de la cupidité ou de préjugés. Les ADM n’agissent ni plus ni moins mal que les jugements humains qu’elles remplacent. Mais les mœurs et cartes du monde des humains peuvent évoluer avec les mouvements de pression des citoyens. Ceux des ADM non, pas tant qu’un ingénieur se penche dessus.

D’après Cathy O’Neil, si un modèle d’inscription dans les universités Américaines avait été mis en place dans les années 1960, peu de femmes accèderaient encore de nos jours à l’enseignement supérieur, car les données d’entraînement auraient été fondés que sur la réussites d’hommes.

“Les processus reposant sur le Big Data n’inventent pas le futur, ils codifient le passé”.

Il faut cesser de s’appuyer sur une foi aveugle au caractère scientifique de la science des données. Nous devons acquérir le scepticisme philosophique pour évaluer et corriger les données qui alimentent nos algorithmes.

En tant que citoyen posons nous aussi la question de la justification d’alimenter ces algorithmes en les introduisant dans nos maisons avec Alexa ou Google Home, ou dans nos voitures avec Siri. Exigeons que les algorithmes rendent des comptes sur la traçabilité des données et de leur usage.