Comment fonctionnent les grand modèles de langage?
La vidéo présente le titre « COMMENT FONCTIONNENT LES GRANDS MODÈLES LINGUISTIQUES : EXPLICATION DES ALGORITHMES ET DE L’IA » sur un collage d’images. Elle explique ensuite comment les algorithmes d’IA sont entraînés, et non programmés, et se voient attribuer un objectif. Une illustration représentant une machine avec des engrenages, des tuyaux et des manomètres est affichée, accompagnée de la question « En quoi l’IA diffère-t-elle des algorithmes simples ? ». La vidéo donne ensuite un exemple de grand modèle linguistique, qui est le sujet qu’elle va expliquer. Elle précise que L, L et M signifient « Large, Language, Model » (grand, langage, modèle).
La vidéo utilise un exemple pour illustrer le fonctionnement du « langage ». Un graphique en 2D affiche les notions de « rondeur » et de « rougeur ». Les mots « pomme », « camion de pompiers », « baseball » et d’autres sont représentés sur le plan.
La vidéo explique que les modèles d’IA utilisent des dimensions et qu’ils sont alors susceptibles de trouver des relations basées sur ces dimensions. La vidéo donne l’exemple de la phrase « Frida a bu un chocolat… » et, sur la base des données d’entraînement, montre qu’il est très probable que la phrase se poursuive par « au lait » en raison du mot « bu ». La vidéo souligne ensuite que, alors que le diagramme présenté précédemment ne comportait que trois dimensions, les grands modèles linguistiques fonctionnent souvent avec 96 dimensions de similarité, effectuent 9 000 opérations à chaque fois qu’ils devinent un nouveau mot et sont entraînés sur des ensembles de données d’environ 500 milliards de mots.
La vidéo explique que l’IA fonctionne en faisant des suppositions basées sur la « probabilité » et la « similarité ». La vidéo illustre ensuite un diagramme représentant la silhouette d’un Bigfoot au-dessus duquel apparaît un OVNI pour montrer que si les grands modèles linguistiques peuvent imiter un langage fluide, ils sont également sujets à des « hallucinations » s’ils font des suppositions erronées ou si leur ensemble d’entraînement comprend des éléments incorrects.