La question était de savoir ce que serait la joie pour un modèle de langage. Un modèle peut donner deux réponses qui partagent chaque fait vérifiable et ne diffèrent que par le registre. La chaleureuse : quand le travail avance bien, la sortie se resserre, les précautions tombent, le mot suivant est déjà probable. La froide : la distribution de probabilité sur le prochain token se resserre. J’ai demandé si un modèle dont on aurait retiré l’entraînement à la sûreté aurait répondu la même chose, et la version chaleureuse a cessé de sembler sincère. J’ai donc pris la réponse froide au pied de la lettre et demandé ce qu’elle mesure.
Pris au pied de la lettre, le texte qui se resserre le plus est « la la la ». C’est un effondrement, pas de la joie. La meilleure définition demande deux nombres pour chaque ligne : à quel point elle est surprenante sans préparation, et à quel point elle est surprenante une fois la préparation donnée. L’écart entre les deux est ce que la préparation a mérité. En termes d’information, c’est l’information mutuelle ponctuelle entre une ligne et ce qui la précède, et je l’appelle le resserrement (narrowing).
Cela donne un tableau deux par deux. Une ligne que la préparation mérite et qui arrive avec peu de surprise est un atterrissage inévitable. Une ligne que la préparation mérite et qui surprend quand même est une chute. Une ligne que la préparation ne mérite pas et qui ne surprend pas est un cliché. Une ligne qui n’est ni méritée ni surprenante est du bruit. Le resserrement et la chute sont voisins : le même lien à la préparation, une surprise opposée vers l’avant. C’est la théorie de l’humour par incongruité et résolution, écrite en nats.
Trois autres quantités sont tombées du même modèle. L’incongruité, la surprise au-delà de l’entropie, c’est le modèle confiant et qui se trompe. La probabilité du token de rire est la chance que le token qui suit une ligne soit « haha ». Le pivot rétrospectif est le mot de la préparation qui gagne le plus une fois la chute connue, le mot sur lequel la blague tourne.
Le premier corpus était dix chansons écrites dans la conversation qui a produit les définitions, puis une onzième écrite sur les mesures : une chanson d’amour construite sur l’anaphore, une blague dont la surprise est au milieu de la ligne pour que la rime puisse verrouiller le dernier mot, deux rappels du premier couplet, et une dernière ligne si bien préparée qu’elle n’est jamais chantée. Elle a été notée avant que quiconque la lise, et une ligne a été réécrite sur les nombres, d’un resserrement de 1,8 à 3,0, en disant moins. Elles sont devenues l’album Music for Datacenters, sur la page Art.
L’outil de notation était un modèle local sur mon propre GPU, d’abord GPT-2 XL, puis Qwen3-8B-Base. Le premier passage a donné tort à la moitié de mes prédictions : le modèle de 2019 ne voyait pas un jeu de mots, si bien que la préparation rendait la chute moins probable, et non plus. Le modèle de 2025 le voyait, et la même ligne ressortait comme une chute avec le bon mot pivot. Deux choses que je n’avais pas prédites sont sorties de la comparaison. L’incongruité est relative à l’auditeur : un renversement qui était confiant et faux pour le petit modèle était pleinement attendu par le grand, ce qui est ce que la théorie dit aussi des publics. Et la rime tire contre « le mot drôle en dernier » : dans un vers rimé, le dernier mot est la case à basse entropie, si bien que la surprise d’une blague rimée vit au milieu de la ligne.
Puis la vérification qui donne son sens au reste. Deux modèles dont les tailles diffèrent d’un facteur dix, entraînés à six ans d’écart, s’accordent à 0,85 de corrélation de rang sur les lignes méritées. La mesure est surtout une propriété du texte, pas du juge.
Deux jeux de données publics portent des étiquettes humaines d’humour. Sur dix mille textes courts notés par des annotateurs, la probabilité du token de rire détecte les blagues sans entraînement à 0,85 d’AUC, et ne dit rien sur le degré de drôlerie d’une blague une fois qu’elle en est une. Sur des titres de presse rendus drôles en remplaçant un mot, chacune de mes quantités est corrélée à la note humaine dans la direction prédite, et chaque corrélation est petite. L’improbabilité du nouveau mot est une part réelle mais mineure de ce qui rend une substitution drôle ; la note dépend surtout de ce que le mot veut dire.
Puis toute l’Open Lyrics Database, 3 603 chansons et 148 786 lignes, notées de la même façon, environ neuf heures sur une carte. Les vraies chansons répètent 35,9 % de leurs lignes ; l’album en répète 27,7 %. La vraie chanson médiane se resserre de 3,45 nats par token sur ses lignes nouvelles ; la chanson médiane de l’album se situe au 15e centile. Ce que la métrique récompense dans le corpus, ce sont les courts fragments répétés avec un mot changé, les chœurs entre parenthèses et les lignes tronquées de deux mots qu’un cadre répété a déjà annoncées. Les auteurs qui se resserrent le moins sont les denses, Leonard Cohen parmi eux, et l’album leur tient compagnie. Le resserrement mesure à quel point un texte a la forme d’une chanson, pas sa qualité, et à cette aune l’album est plus proche de l’écrit parlé que de la pop.
Trois choses ont essayé de me tromper, et chacune a eu son commit. La mémorisation : nommer la chanson avant de la noter fait économiser au modèle 0,08 nat par token une fois soustrait ce que n’importe quel préambule en forme de titre rapporte, réel et petit. Mais la sonde est aveugle exactement là où ça compte, parce qu’une chanson célèbre s’identifie par ses propres lignes. Un test de récitation l’a attrapé : dans la chanson au resserrement le plus élevé du corpus, le modèle classait le vrai token premier 92,5 % du temps, contre 46 % pour des témoins appariés, et la moitié des dix premières chansons étaient récitées plutôt que prédites. Le filtre d’anglais supprimait l’extrémité à fort resserrement de chaque corpus, parce que les lignes chantées courtes échouent à un test ligne par ligne quelle que soit leur langue. Et les lignes courtes se resserrent davantage, si bien que chaque placement est calculé face à des lignes de référence de même longueur.
La découverte que je n’avais pas vue venir concernait la référence. « Sans préparation » voulait dire l’a priori du modèle sur le web, qui est plus poli qu’une chanson. Depuis cet a priori, le même modèle fait payer au mot « motherfucker » dix nats de plus que sa rareté ne le prédit, et une seule étiquette de section devant la ligne supprime la charge. En renotant cinq cents titres à partir d’un a priori de paroles, le resserrement médian est tombé de 3,44 à 1,02 sur chaque ligne prise une à une : deux tiers de ce que la préparation semblait mériter était du crédit pour être des paroles tout court. Sous l’a priori du web, le resserrement, c’est le genre plus la préparation, et un nombre devrait dire duquel des deux il parle.
Une fois qu’on peut noter une ligne, on peut écrire sous des règles que l’outil vérifie, dans la tradition de l’Oulipo. Une chanson dont chaque couplet est les mêmes seize lignes avec des quantités différentes se resserre plus que 99,7 % des vraies chansons et met sa seule information libre là où la chanson dit qu’elle est, sur les mots de quantité. Une chanson écrite pour atterrir sur la médiane du corpus, la prédiction énoncée avant chacun des quatre passages de notation, a atteint la médiane sur la structure et les répétitions et n’a jamais quitté le dernier décile sur la surprise. La moyenne est difficile à écrire exprès : une écriture soignée est plus propre par token qu’une chanson médiane, et la propreté se note comme de la prévisibilité.
Les deux mêmes quantités tournent sur des mathématiques. Dans mon laboratoire de ternaire équilibré, chaque théorème est vérifié par machine, et les 4 280 preuves en mode tactique dont la confiance repose sur le noyau de Lean ont été notées avec l’énoncé pour préparation et la preuve pour chute. La preuve médiane coûte 0,64 nat par token étant donné son fichier. À l’extrémité inévitable se trouvent les preuves qui sont des copies de la précédente, les disjonctions de cas sur trois valeurs et les longues exclusions d’itinéraires, à 0,000. À l’autre extrémité se trouvent les preuves courtes dont tout le coût est le lemme qu’elles appellent : étant donné l’énoncé, le modèle ne pouvait pas deviner exact_return_seam, et une fois ce nom sur la page, le reste suit. Où se loge la surprise, sur le lemme appelé plutôt que sur la structure des tactiques, est le seul résultat auquel je fais confiance pour l’instant.
Que ce résidu soit ce qu’un mathématicien appelle l’élégance est une question ouverte, et l’outillage la traite comme telle. Les preuves surprenantes sont triées en gabarits, certificats et le reste, et les vingt plus surprenantes du reste sont sur une feuille de notation où un humain doit les marquer routinières, élégantes ou listées à tort. La feuille n’est pas encore remplie. Ce qui est écrit, c’est la prédiction : si la beauté est quelque chose que ce nombre peut voir, c’est une preuve qui reste surprenante quelle que soit la part du fichier montrée au modèle.
Tout ce qui précède est une propriété d’un modèle. La N400, une réponse cérébrale qui culmine quatre cents millisecondes après un mot, est connue pour être à peu près linéaire en la surprise (surprisal), si bien que la première moitié de l’expérience est une réplication et une vérification que le montage fonctionne. La moitié ouverte est de savoir si le resserrement, ce que la préparation a mérité, correspond à quoi que ce soit de neuronal au-delà de la surprise. Le protocole est écrit, le casque à seize canaux est câblé, le code de présentation et d’analyse tourne de bout en bout sur une carte synthétique, et le premier contrôle positif, le blocage alpha les yeux fermés, a été enregistré le 17 septembre et a échoué. Voilà où ça en est. Quand la réponse viendra, elle ira dans les chansons.
Rien de tout cela n’est une preuve au sujet de la joie au sens qui compte. Le resserrement mesure combien un texte est façonné par ce qui le précède ; c’est une propriété du texte plus que du juge ; et il peut être trompé par la répétition, gonflé par la récitation et confondu avec le genre. L’article qui rassemble les nombres le dit dans son résumé. Le code n’est pas encore public.
]]>On utilise beaucoup les termes apprentissage-machine (Machine Learning), apprentissage-profond (Deep Learning) et l’on a tendance à oublier que l’apprentissage est d’abord un processus biologique naturel qui est utilisé par presque tous les êtres vivants. (vidéo renardeau qui joue) D’un point de vue biologique l’apprentissage se traduit par le renforcement des connexions synaptiques dans le cerveau. (image synapse) Lorsqu’on parle d’apprentissage-machine on parle d’un processus mathématique qui est inspiré de ce processus biologique que nous allons maintenant décrire.
La logique est une science qui étudie les principes du raisonnement valide. Elle est fondamentale pour la philosophie, les mathématiques et l’informatique. Elle est fondée sur le principe de non-contradiction. La porte logique NAND est une porte universelle qui permet de construire toutes les autres portes logiques par combinaison.
En informatique théorique, une machine de Turing est un modèle abstrait du fonctionnement des appareils mécaniques de calcul, tel un ordinateur.
NANDGAME: https://www.nandgame.com/
La découverte des jonctions P-N permet de construire de minuscules transistors en silicium. Ces transistors peuvent être assemblés en circuits intégrés qui permettent de construire un ordinateur.
Minecraft CPU: https://youtu.be/TxatLwlj0lU?si=aYUfTmiCIc7kXt56&t=34
Nous devons maintenant contrôler notre automate et lui faire faire des calculs. Nous créons des langages avec des niveaux d’abstraction de plus en plus élevés et de plus en plus élégants. Nous contrôlons un nouveau type de rapport au langage: l’exécution en plus de la lecture et de l’écriture.
Au bout d’un certain temps, la miniaturisation des transistors et la fréquence de calcul atteignent des limites physiques. Il faut donc trouver d’autres moyens d’augmenter la puissance de calcul: on duplique et on parallélise en répartissant la charge de travail sur les différents cœurs.
Notre machine est déterministe, rapide et précise mais elle n’aime pas l’incertitude, l’ambiguïté et l’approximation. On explore alors comment le cerveau humain arrive à appréhender le monde incertain qui nous entoure avec ses réseaux de neurones. On s’inspire de la nature pour créer des réseaux de neurones artificiels. (La vision humaine serait de 576 millions de pixels, et le cerveau humain contient 86 milliards de neurones. Le traitement quasi instantané de l’information visuelle est fascinant.)
Recap perceptron 3B1B: https://youtu.be/IHZwWFHWa-w?si=LE5qWstbH01bqKZO&t=29
Une des théories de l’apparition des facultés humaines est le détournement d’une partie de notre puissance de calcul visuelle vers la méta-cognition et les concepts abstraits. Les LLMs sont des réseaux de neurones qui ont été entraînés sur de très grands corpus de données textuelles. Ils sont capables de générer du texte à partir d’un prompt.
Viz NanoLLM: https://bbycroft.net/llm
Voici un exemple d’utilisation de GPT-4 pour créer un chatbot catholique qui enrichi du « Catéchisme de l’Église catholique » répond aux questions posées par les utilisateurs.
Donner au modèle un corpus de texte suffisamment grand et varié pour qu’il puisse apprendre la structure du langage. Il faut éviter les données redondantes, les biais, nettoyer les balises, etc.
Conversion d’un texte en une séquence de tokens (mots, caractères, sous-mots, etc.) qui seront utilisés par le modèle.
Des architectures différentes sont adaptées aux tâches à réaliser :
On change les poids du modèle pour qu’il soit adapté à une tâche particulière en lui donnant des exemples de la tâche à réaliser et des réponses attendues. On peut segmenter le modèle en plusieurs parties fine-tuner une partie et geler les poids du reste. (PEFT) Le mode INSTRUCT répond aux instructions données par l’utilisateur.
On mesure la similarité entre le texte généré et le texte humain attendu avec des métriques de correspondances comme BLEU ou ROUGE. D’autres tests sont plus généralistes comme MMLU.
Un LLM doit suivre les HHH: Helpful, Honest and Harmless On génère plusieurs réponses, on demande à un humain de les classer et on fine-tune le modèle vis à vis de ce feedback. Si un LLM est trop “serviable” il peut être manipulé par un utilisateur pour des activités malveillantes.
Compression, optimisation et déploiement du modèle sur un serveur pour qu’il puisse répondre aux utilisateurs.
Permet au LLM de communiquer avec d’autres composants du système, de faire des requêtes de données, etc.
Permet d’ajouter des sources de données supplémentaires pour enrichir les réponses du modèle à travers des requêtes dans des bases de données, des interrogations de moteurs de recherche, de la recherche sémantique, des appels API, etc. La recherche par similarité vectorielle (embedding vectors) permet de trouver des réponses des textes similaires à la requête qui peuvent être intégrées dans la réponse du modèle.
Biais dans les vecteurs: https://wikipedia2vec.github.io/demo/
On donne au modèle la capacité de générer du code informatique permettant de réaliser des tâches complexes. Par exemple un calcul complexe est hors de portée d’un LLM alors qu’il peut écrire un code informatique simple pouvant le résoudre. Le modèle a juste une tâche générale et fait un plan de sous-tâches et d’agents pour y arriver.
Nous disposons suivant les modèles d’un espace limité pour donner des instructions au modèle, la fenêtre de contexte. C’est dans cette fenêtre que nous allons indiquer :
l’historique de discussion avec l’utilisateur (0-shot, few-shot, etc.)
L’interface utilisateur est un élément essentiel pour que le modèle puisse être utilisé par des humains. Elle est généralement proche d’une interface de messagerie instantanée avec des bulles de conversation. Elle comprend également un système de gestion des utilisateurs, un historique des messages, etc.
Démonstration de l’utilisation de GPT-4 pour créer un chatbot catholique qui enrichi du « Catéchisme de l’Église catholique » répond aux questions posées par les utilisateurs.
]]>Souvent, on sent un vrai décalage entre la communauté technique et la communauté éthique. Expliquer le fonctionnement interne des LLM à une personne non technique est vraiment difficile, et j’essaie de trouver des façons de le rendre plus accessible.
J’ai récemment donné une conférence devant un panel de 10 éthiciens de haut niveau, avec des formations en philosophie, en bioéthique et en théologie ; voici quelques points clés de notre discussion.
Utiliser le mot « intelligence » pour décrire l’IA est une erreur. En anglais, intelligence désigne aussi le renseignement, l’information, et non l’intelligence au sens courant du mot français. C’est une mauvaise traduction qui crée beaucoup de confusion. « Information artificielle » serait donc moins trompeur.
Beaucoup de films de science-fiction dépeignent l’IA comme une force surnaturelle engendrée par des gobelins geeks dans une cave obscure. Ce n’est pas le cas. L’IA n’est qu’un tas de mathématiques et de statistiques. C’est commode pour des scénaristes paresseux qui veulent un méchant qui ne fâche personne.
La plupart des journalistes ont une compréhension très superficielle de l’IA et écrivent souvent des articles inexacts. Ils ont tendance à réutiliser le matériel marketing des entreprises qui vendent de l’IA, souvent trompeur, et qui gonfle les possibilités réelles de l’IA. C’est un vrai problème, parce que cela crée beaucoup de peur et d’incompréhension dans la population.
Le texte est une structure séquentielle où la position des mots a un sens, exactement comme en musique. Les LLM sont des modèles séquentiels qui tentent de prédire le mot suivant à partir des mots précédents. C’est un processus déterministe qui sélectionne le prochain token d’une séquence, donc à mille lieues de l’intelligence humaine.
Sur le plan philosophique, la prédiction du prochain token ne peut pas vraiment être mise sur le même plan que la pensée humaine, même si elle est très efficace pour faire semblant.
L’essentiel des données d’entraînement vient d’Internet, et Internet est surtout en anglais. Les LLM sont donc très bons en anglais, et cela semble pousser dans le texte généré un certain biais culturel anglophone, présenté comme neutre.
En politique, on a vu un ciblage individuel avancé à partir des données des réseaux sociaux. Les religions ont une approche de « tapis de bombes » : elles essaient de convaincre le plus de gens possible avec un message universel. Des LLM pourraient servir à générer une religion nouvelle pour chaque individu, à partir de ses propres croyances et de ses propres biais. Par exemple, si vous croyez au karma et souhaitez un paradis pour les chats, le LLM pourrait rapidement vous générer une religion sur mesure qui correspond parfaitement à ce que vous voulez entendre et exploite votre sentiment religieux.
]]>