Fraichement paru dans la prestigieuse revue Nature neuroscience en 2023, un groupe de chercheurs (J. Tang, A. LeBel, S. Jain & A. Huth) en sciences informatiques et neurosciences de l’Université d’Austin (USA), a publié un article intitulé « Reconstruction sémantique du langage continu à partir d'enregistrements cérébraux non invasifs » constituant une avancée majeure dans l’utilisation de l’intelligence artificielle à des fins de « décodage » de la pensée interne humaine.
Fabrication d’une « clé de cryptage sémantique » de la pensée verbale humaine
Les chercheurs nord-américains ont fait écouter à des individus une importante quantité de séquences de mots contenues dans des histoires narratives. Avec une technologie usuelle d’imagerie par résonance magnétique fonctionnelle (IRMf), les scientifiques ont enregistré les variations particulières d’afflux en oxygène sanguin des régions corticales «sémantico-langagières » activées lors de la perception auditive de chacune de ces séquences verbales. Ces enregistrements sont ainsi une image numérique, au sens mathématique du terme, de l’activité neuronale traduisant physiologiquement l’encodage sémantico-langagier de ces séquences verbales.
Chaque stimulus de séquence de mots a dès lors été apparié à l’activité électrochimique cérébrale produite en réponse par les individus étudiés, créant de facto un ensemble de couples(séquence verbale en entrée, signature numérique spécifique en sortie). La fonction langagière-numérique ainsi définie représente indirectement les encodages sémantiques réalisés par ces individus. Cette fonction, qui est en fait mathématiquement une matrice de correspondance(input, output) post-traitée par régression, peut être alors interprétée comme une clé de lecture du cryptage sémantique opéré par la cognition humaine (cf schéma ci-après, issu de l’article princeps).
Le « décryptage » des pensées verbales
Si cette fonction de cryptage permet une traduction séquence de mots -> signature neuronale, sa fonction réciproque rend alors théoriquement possible le décryptage, en sens inverse, signature neuronale -> séquence de mots. Et, par extrapolation, le décryptage activité neuronale -> contenu sémantique de la pensée verbale.
Afin de tester cette possibilité vertigineuse, les chercheurs ont dès lors demandé aux individus impliqués dans l’expérience de produire intérieurement (i.e. sans oralisation) de nouveaux discours narratifs.Leurs activités cérébrales spécifiques à cette occasion ont alors été enregistrées à nouveau par IRMf, puis ces enregistrements ont été soumis à la clé de décryptage inverse neuro-sémantique (cf schéma ci-après, issu de l’article).
Cette clé de décryptage n’est, bien entendu, certainement pas bijective (i.e. pas de correspondance univoque terme à terme) ;la procédure ci-dessus génère dès lors une série de candidats de séquences de mots, dont peu sont probables d’un point de vue strictement syntaxique ou sémantique. C’est ici que l’IA générative langagière intervient en rendant possible une évaluation de la plausibilité langagière de la très grande quantité de candidats obtenus ; en opérant une sélection pour ne retenir que le candidat (le contenu inféré de la pensée verbale intérieure produite) le plus probable.
Les pensées verbales ainsi prédites ont été comparées aux pensées verbales effectivement indiquées après-coup parles participants de l’expérience, par mesure de leur proximité sémantique via d’autres techniques d’IA langagière. Les résultats statistiques obtenus indiquent que le sens de ces pensées verbales a été significativement correctement prédit par la clé de décryptage neuro-sémantique arbitrée par l’IA langagière(cf exemples ci-après, issus de l’article).
Avec des garde-fous éthiques draconiens à mettre solidement en place dès maintenant comme pour toute innovation scientifique majeure, les potentielles applications de cette technologie d’utilisation des IA langagières sont vastes et prometteuses ; par exemple dans le champ thérapeutique (citons le cas de l’aphasie de production langagière) et dans celui de l’interface de commande homme-machine. Et, n’en doutons pas, ce domaine de recherche va connaître une croissance aussi forte que surprenante dans les toutes prochaines années.
