La présomption de non-conformité Ce qu'Anthropic vient d'inventer sans le savoir

Anthropic vient d'inventer, sans le savoir, la "présomption de non-conformité".

Vendredi soir, l'administration Trump ordonne à Anthropic de couper l'accès à ses deux nouveaux modèles à tout ressortissant étranger. Anthropic répond que c'est techniquement impossible à mettre en oeuvre. Alors ils coupent tout, pour tout le monde.

Et dans leur communiqué, ils lâchent cette phrase :

Anthropic dit ça comme si cette prudence était évidemment une folie. Mais est-ce que la folie, ça ne serait pas ce qu'on fait depuis des années ? Mettre des milliards de personnes en interaction avec des chatbots surpuissants, mimant les caractéristiques humaines à s'y méprendre, et se dire que tout va bien se passer sans AUCUNE prudence ?

Ce qui passe pour folie dans le texte d'Anthropic, c'est l'application d'un principe de précaution le plus élémentaire : si on pense qu'une technologie déployée auprès de centaines de millions de personnes a une grande probabilité d'impacts négatifs, que ce soit en termes de cyber-attaques massives ou de dégradation de la santé mentale des utilisateurs, on n'autorise pas la mise sur le marché. Basique.

Autrement dit : si tu ne peux pas garantir que ton modèle est sûr, tu ne le déploies pas. Et si une faille apparaît après déploiement, tu coupes. Ce n'est pas une sanction exceptionnelle. C'est une logique de fond. Celle qu'on appelle à Tournesol.app la présomption de non-conformité.

Aujourd'hui, la logique dominante dans le secteur tech c'est l'inverse : on déploie, on voit ce qui se passe, on corrige si ça chauffe (vraiment) trop. La charge de la preuve repose sur les régulateurs qui doivent démontrer sans qu'on leur donne les données que le produit est dangereux. En attendant, il tourne et fait des ravages.

La présomption de non-conformité renverse ça : c'est à l'entreprise de prouver que son modèle est conforme avant de le lâcher dans la nature. Pas l'inverse.

Là, une objection légitime se pose : conforme à quoi ? (comme on me l'a à propos rappelé sur bsky)

Dans le cas présent, le modèle d'Anthropic n'est pas "conforme aux exigences de sécurité nationale de l'administration Trump" et ça n'est pas exactement le type de conformité qu'on a en tête lorsqu'on travaille à Tournesol à définir les 4 piliers d'un numérique démocratique :

• Transparent : que les IA de recommandations et les espaces numériques en général soient ouverts, vérifiables et compréhensibles par le plus grand nombre.
• Résilient : que les plateformes et leurs IA de recommandation soient sécurisées pour éviter les attaques malveillantes des milliards de faux comptes.
• Intentionnel : que les futures recommandations reflètent les envies réfléchies des utilisateurs et utilisatrices plutôt que leurs réactions impulsives (clic, swipe,...).
• Fédérateur : que les recommandations soient favorables à l'émergence d'un socle informationnel commun et que les membres de ces espaces numériques puissent partager une base informationnelle commune (faits historiques, connaissances scientifiques, réalisations culturelles,...), plutôt que de risquer d'être enfermés dans des bulles hyper-personnalisées.

Ils concernent spécifiquement les IA de recommandation mais on va les élargir aux écosystèmes numériques informationnels pour que la régulation ne soit pas à la merci des caprices d'une administration. Ce dont nous avons besoin, c'est des garanties pour tout le monde que ces systèmes soient, au moins à peu près, compatibles avec le fonctionnement démocratique. Ce qui vient de se passer aux US n'est pas une démonstration que la régulation fonctionne (#noShit). C'est une démonstration qu'elle est inévitable et que si on ne définit pas nous-mêmes les critères, quelqu'un d'autre, probablement autoritaire, le fera à notre place. La question n'est plus "faut-il réguler ?". Elle est : qui décide de ce qui est conforme, et au nom de quoi ?