L’ordinateur IBM ronronne jour et nuit pendant qu’un algorithme parcourt les données relatives à la vie de 170 000 habitants de Bristol. Ces informations sont communiquées par la police, le NHS [le service de santé public], le ministère de l’Emploi et des Retraites et les autorités locales. Emploi, problèmes d’alcool, de drogue, de santé mentale, infractions, incivilités, absences scolaires, grossesses précoces et violence domestique, tout y est.

Près d’un quart de la population de Bristol, la plus grande ville du West County, dans le sud-ouest de l’Angleterre, est suivi par le programme. Les intéressés reçoivent une note de 1 à 100 qui indique la probabilité qu’ils se livrent à des incivilités, portent atteinte à des enfants ou disparaissent, entre autres. Le système a même prédit qui parmi les enfants de 11 à 12 ans semble destiné à une vie de NEET – quelqu’un qui ne travaille pas, ne fait pas d’études et ne suit pas de formation – en analysant les caractéristiques que les personnes actuellement dans cette situation présentaient à cet âge.

Les intéressés n’ont pas automatiquement accès aux résultats mais peuvent les demander en vertu de la réglementation sur la protection des données. La municipalité se sert de ces prévisions pour guider ses agents sur le terrain.

Prévenir certains problèmes sociaux coûteux

Ils savent souvent déjà ce que leur apprend l’algorithme mais les informations communiquées par celui-ci ont contribué à l’affectation de 800 000 livres sterling au recrutement de travailleurs sociaux et aides à domicile supplémentaires dans les parties défavorisées du sud de la ville : les facteurs de risque comme l’abandon scolaire, la violence domestique et la délinquance montraient une augmentation des besoins.

Ce projet s’inscrit dans une tendance : les autorités locales font appel à des algorithmes analysant la population dans l’espoir de réduire la fraude ou de prévenir certains problèmes sociaux coûteux. Cependant ces systèmes sont souvent opaques. Les sociétés privées affluent sur le marché et les choses ne se passent pas toujours bien. Le district de North Tyneside [nord-est de l’Angleterre] a récemment mis fin à un contrat parce qu’un algorithme avait identifié certains habitants comme des fraudeurs potentiels ce qui avait provoqué un retard dans le versement de leurs aides sociales.

Un tableau dressé en quelques secondes

Le système de Bristol a été en grande partie mis au point par la municipalité et celle-ci a décidé de jouer la transparence. Les notes attribuées s’appuient sur une analyse de la situation des personnes qui ont eu des problèmes auparavant. Pour déterminer la probabilité qu’un enfant soit victime d’atteintes sexuelles par exemple, l’algorithme analyse 80 facteurs tirés du dossier de personnes en ayant subi. Les fugues répétées sont le signe le plus fiable mais la violence domestique, l’appartenance à un gang, le comportement et l’absentéisme scolaires entrent également en jeu.

Le système peut en quelques secondes dresser un tableau du risque couru par un individu que les travailleurs sociaux mettraient des années à acquérir malgré leur connaissance du secteur. Les informations arrivent 24 heures sur 24 et quand un schéma inquiétant se dessine, le système peut automatiquement envoyer un courriel aux travailleurs sociaux ou aux aides familiales de l’intéressé pour les presser d’étudier le cas de plus près. Les retours apportés par les agents sur le terrain qui sont le plus en rapport avec les facteurs de risque permettent “d’affiner” l’algorithme pour améliorer ses prévisions.

Graves questions légales

Gary Davies a été chef de la police de l’Avon et Somerset, sise à Bristol, et dirige l’aide d’urgence à l’enfance et aux familles. L’algorithme “ne remplace pas le jugement d’un professionnel, il ne prend pas de décisions tout seul. Il nous donne des informations qui étaient enfouies dans la mémoire des divers organismes”, précise-t-il.

Un audit a été réalisé récemment sur le cas de cinq jeunes ayant été victimes d’atteintes sexuelles l’année dernière : avant les faits, l’algorithme avait classé trois d’entre eux dans les cent jeunes de Bristol les plus susceptibles d’être victimes de ce genre de chose, et un quatrième dans les 100 à 200 – sur plus de 7 000. Le cinquième aurait aussi été dans le haut de la liste si une information le concernant n’avait pas été déconnectée.

Ceci soulève de graves questions. Si un algorithme prédit un problème, la municipalité a-t-elle l’obligation légale et morale d’empêcher celui-ci ? Les autorités doivent-elles laisser l’algorithme s’améliorer lui-même en fonction de l’exactitude ou non de ses prévisions – en d’autres termes recourir à l’apprentissage automatique pour améliorer sa fiabilité ?

Ce n’est pas le cas en ce moment mais cela pourrait donner à la machine un rôle plus grand dans la détermination des personnes qui ont le plus besoin d’aide. Si l’algorithme est efficace, doit-il automatiquement ordonner aux agents sur le terrain de prendre des mesures au lieu de simplement leur signaler un risque potentiel ?

Laisser la main aux agents… pour le moment

Davies tient pour le moment à laisser la main à tous les agents municipaux qui passent du temps dans les établissements scolaires et auprès des familles. Il doute que la population apprécie l’apprentissage automatique : “Il est difficile de savoir si on va aller dans cette direction, confie-t-il. L’opinion publique risque de s’y opposer.”

Cependant, le caractère soigné du traitement des familles et des individus, avec notes et classement, va probablement séduire un secteur public à court de fonds. Les agents de la municipalité de Bristol peuvent d’un clic télécharger le “profil de vulnérabilité” numérique d’une personne, avec des pourcentages établissant la probabilité de toute une série de problèmes. On peut représenter le risque pour une famille entière par simple graphique reprenant les variations au fil du temps.

Débat avec la population

C’est là un cliché simpliste de la complexité de la vie humaine. Bristol reconnaît que les notes peuvent être mal interprétées, en particulier en matière d’atteintes sexuelles sur les enfants, que les données risquent d’être piratées voire détournées par les personnes qui y ont accès.

“Il faut avoir bien conscience de ce que le système vous dit, confie Davies. On a tout à gagner à autoriser les personnes bien intentionnées à utiliser la technologie moderne pour évaluer les risques et la vulnérabilité des gens et attribuer les ressources à ceux qui en ont le plus besoin. Il faut lancer un débat avec la population pour la convaincre.”

Lire l’article original

Robert Booth

Abonnez-vous à la Lettre de nouveautés du site ESSF et recevez chaque lundi par courriel la liste des articles parus, en français ou en anglais, dans la semaine écoulée.