L'aveuglement technocritique ou pourquoi "ça ne dit pas le vrai" n'est pas une réponse suffisante

Explication de texte pour celles et ceux qui ne baignent pas dans ces questions. Ce comic se moque de deux caractéristiques des IA génératives :

• Elles ont un coût énorme et quasi-absurde (énergie, eau, travail humain caché) -> "10 bébés girafes par jour"
• Elles continuent de faire des erreurs en "hallucinant" (des faits et des citations par exemple) avec beaucoup de confiance -> "Oh mon dieu, non non non non" répond le personnage de droite à la question "mais est-ce que le robot répond correctement ?"

Perso, ça me fait rire, y'a évidemment du vrai dans ce comic... et pourtant son succès, mesuré en amplification algorithmique notamment, est également le signe d'un certain déni. Se moquer d'Anthropic et d'OpenAI, ces nouveaux GAFAM qui jouent avec nos univers mentaux comme un enfant joue avec une balle, ça vaut toujours le coup. Mais ce genre de contenu révèle aussi une tendance de certains milieux technocritiques à l'autoconviction et à l'aveuglement. Le succès de ce comic surfe sur la tendance qu'ont certaines personnes, dont des experts, à tourner en dérision ce dont sont capables ces modèles. Mais se contenter de cette dérision, c'est ne pas voir le bouleversement des usages engendré par la diffusion des IA génératives et c'est refuser de comprendre pourquoi tant de gens (un bon milliard de personne en gros) utlisent ces IA quotidiennement, malgré leurs hallucinations et leur coût global exorbitant. Il y a parfois chez certains experts (lien externe) une condescendance tranquille : "Ce sont des applications techniquement très "bêtes", car elles sont incapables de faire ce que normalement une machine sait faire très bien" (de là à sous-entendre que les gens qui utilisent ces applications stupides le sont aussi, il n y a qu'un pas, et il est liliputien....)

Mais certes. Si vous cherchez un billet d'avion en cochant les bonnes cases prévues par un ingénieur logique, vous aurez une info plus fiable que si vous dites à un chatbot : "je voudrais le billet le moins cher pour aller de Paris à Berlin demain ou après-demain." Seulement voilà : pour la plupart des gens et dans des cas moins "mathématiques", parler en langage naturel est plus accessible que s'adapter au langage machine. Utiliser des opérateurs de recherche (< > = - OR AND) dans les moteurs de recherche est extrêmement puissant mais qui le fait ?

Alors que combien de personne vont naturellement savoir dire à un agent IA : "je veux l'image d'un oracle mais pas celui de l'entreprise !" après une première recherche clairement imprécise 👇

C'est la même erreur que certains libristes qui ne comprennent pas pourquoi la plupart des gens préfèrent macOS à OpenBSD, alors qu'"OpenBSD te laisse tel-le-ment plus de contrôle, de liberté et de sécurité." Et derrière ce réflexe, il y a le même biais qu'à l'époque où l'on trouvait suspect de faire confiance à Wikipédia parce que "c'est truffé d'erreurs." Les critiques légitimes de ces systèmes, sur leur illégalité, sur les aberrations en termes de concentration de pouvoir qu'ils incarnent, ne doivent pas occulter une réalité : pour beaucoup de gens, dans beaucoup de cas, ils fonctionnent. Ils donnent accès à des services et des connaissances qui n'étaient tout simplement pas accessibles avant. Ces systèmes ne sont pas conçus pour dire le vrai.

Mais une réponse imparfaite et souvent correcte, ça reste mieux qu'une erreur 404 garantie.

Si ça ne marchait pas du tout, est-ce que des centaines de millions de personnes les utiliseraient tous les jours ?