ChatGPT, Gemini, DeepSeek… Leur faiblesse cachée qui peut les faire dérailler

Les intelligences artificielles génératives ont pris d’assaut le monde du numérique ! ChatGPT, Gemini ou encore DeepSeek impressionnent par leur capacité à rédiger des textes, analyser des données et même tenir des conversations longues et détaillées. Leur intelligence semble parfois dépasser nos attentes… mais elles ne sont pas infaillibles.

Si vous les avez déjà utilisées sur des sujets complexes ou des interactions prolongées, vous avez peut-être remarqué quelque chose d’étrange. Au début, tout semble parfait : elles suivent le fil de la discussion, prennent en compte vos indications et paraissent presque humaines dans leurs raisonnements. Mais plus vous avancez, plus des incohérences surgissent. Des erreurs, des oublis, des réponses à côté de la plaque… Pourtant, ces IA sont censées être parmi les plus avancées du moment.

Que se passe-t-il ? Pourquoi ces outils, aussi performants soient-ils, finissent-ils par proposer des réponses erronées ou illogiques ?

Une IA qui perd le fil ?

Prenons un exemple très parlant : les échecs. Plusieurs youtubeurs spécialisés ont tenté de jouer contre ChatGPT. Les premiers coups sont souvent corrects, conformes aux règles du jeu et parfois même stratégiques. Mais au fil des échanges, l’IA commence à proposer des mouvements absurdes, voire impossibles : elle fait déplacer une pièce qui a déjà été capturée, ignore une menace évidente, voire invente de nouveaux coups qui n’existent pas !

Julien Song, Maître International d’échecs, s’est amusé à faire jouer ChatGPT et Le Chat de la firme française Mistral aux échecs. Les deux IA s’opposait pour ce qui allait s’annoncer être un match endiablé ! Et par la même occasion nous pourrions voir qui est le vainqueur entre ces deux intelligences.

Je vous laisse regarder cette partie dantesque, ou plutôt ubuesque  ! 

Pourquoi ces IA finissent-elles par commettre de telles erreurs ? Ce n’est pas un problème d’intelligence… mais plutôt de mémoire !

La mémoire, le talon d’Achille des IA génératives

Contrairement à un humain qui se souvient naturellement du fil d’une conversation ou des événements passés, ces IA n’ont pas de réelle mémoire persistante. Elles fonctionnent à travers une “fenêtre de contexte”, c’est-à-dire une quantité limitée d’informations qu’elles peuvent traiter en même temps. Lorsqu’on dépasse cette limite, elles oublient progressivement les premiers éléments de la conversation.

C’est un peu comme si vous lisiez un livre en n’ayant droit qu’aux dernières pages : vous pouvez comprendre l’histoire récente, mais le début vous échappe totalement.

Des conséquences dans de nombreux domaines

Ce problème de mémoire ne touche pas seulement les échecs. Il se manifeste dans bien d’autres domaines :

  • En programmation, si vous demandez à une IA d’écrire un code complexe en plusieurs étapes, elle peut oublier des paramètres clés définis au début.

  • En rédaction, lors de la production d’un long article, certaines IA finissent par reformuler des idées déjà abordées ou perdre en cohérence.

  • En analyse de données, elles peuvent omettre des faits importants discutés au début de l’échange, faussant ainsi leurs conclusions.

Ce souci peut être frustrant, surtout lorsqu’on cherche à utiliser ces outils pour des tâches précises et rigoureuses.

Quelles solutions pour améliorer la mémoire des IA ?

Les chercheurs et développeurs travaillent déjà sur plusieurs pistes pour améliorer cet aspect :

  • Élargir la fenêtre contextuelle : Plus une IA peut se souvenir d’informations, plus elle sera performante sur des tâches longues.

  • Créer une mémoire persistante : Certaines IA expérimentales commencent à tester des systèmes de mémoire à long terme, leur permettant de se souvenir des interactions passées.

  • Optimiser la gestion des informations : Des algorithmes plus intelligents pourraient apprendre à prioriser les informations essentielles et à éviter les oublis critiques.

Le conseil précieux pour améliorer la cohérence des réponses de chatGPT et autres IA

Alors, comment faire pour que ChatGPT, Mistral ou autre, puisse tenir le coup tout au long d’une partie d’échec en restant cohérent ? Comment aurait Julien Song aurait dû s’y prendre pour que nos deux robots ne s’emmêlent pas les pinceaux ? 

La réponse est simple, certes fastidieuse, mais simple. Et c’est un conseil applicable pour toutes les demandes qu’on peut faire à l’IA et qui requiert une discussion assez longue. Il faut très régulièrement répéter les éléments importants du contexte

Pour reprendre l’exemple des échecs. Voici comment il aurait fallu procéder pour réduire considérablement les soucis de “déraillement”. La meilleure des solutions est de faire jouer les IA en image. Puisque la plupart des outils acceptent qu’on upload des images et donc des screenshots, il faudrait faire un screenshot après chaque coup et le transmettre à l’IA qui doit jouer. Bon forcément, ce jeu de ping pong est bien plus chronophage que, par exemple, se faire répondre deux IA avec leur mode vocal.

Mais je vous invite à tester et à me dire si les résultats sont meilleurs !

En parlant d’IA, découvrez mon article sur Google AIO.

 

Laisser un commentaire