Intelligence Artificielle

Le Transformer a remplacé les réseaux récurrents par un mécanisme d'attention pure. Huit chercheurs, un article de 2017, et toute une industrie qui bascule.

Un embedding, c'est une traduction du langage humain en coordonnées dans un espace géométrique. Et ça marche étonnamment bien.

La fenêtre de contexte, c'est la quantité de texte qu'un LLM peut voir en même temps. Sa mémoire de travail. Et elle a des limites que les chiffres marketing ne montrent pas.

Le deep learning, c'est du machine learning avec des réseaux de neurones empilés en couches. Plus c'est profond, plus c'est puissant — et plus c'est opaque.

Un LLM ne ment pas — il ne sait pas qu'il invente. Comprendre les hallucinations pour ne plus leur faire confiance les yeux fermés.

Le machine learning, c'est un algorithme qu'on ne programme pas — on l'entraîne. On lui montre des exemples, il trouve les patterns. Et parfois, il trouve les mauvais.

Le NLP, c'est le domaine qui essaie de faire comprendre le langage humain aux machines. Soixante-dix ans de tentatives, et on n'y est toujours pas — mais on fait semblant de mieux en mieux.

La temperature, c'est le bouton qui règle le degré de folie contrôlée d'un LLM. Trop bas, il est ennuyeux. Trop haut, il invente n'importe quoi.