Transformer

En juin 2017, une équipe de huit chercheurs de Google Brain et Google Research — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser et Illia Polosukhin — publie l'article fondamental « Attention Is All You Need » dans la conférence NeurIPS (Neural Information Processing Systems). Cet article introduit l'architecture Transformer, qui abandonne complètement les approches récurrentes basées sur les réseaux LSTM et GRU dominants depuis le début des années 2010. Le Transformer repose sur un mécanisme central : l'attention multi-tête (multi-head attention), qui permet au modèle de traiter une séquence entière simultanément en calculant des relations de pertinence entre chacun de ses éléments, en parallèle plutôt qu'en séquence. L'architecture se compose d'un encodeur et d'un décodeur, chacun constitué de couches empilées contenant des unités d'auto-attention et des réseaux de neurones feed-forward. Le mécanisme d'attention utilise trois matrices apprenables — Requête (Q), Clé (K) et Valeur (V) — pour calculer un score de pertinence entre chaque élément et tous les autres. Contrairement aux réseaux récurrents qui traitent les données token après token, le Transformer traite la séquence entière en parallèle, ce qui accélère dramatiquement l'entraînement et exploite efficacement les architectures GPU modernes. Le succès du Transformer dépasse rapidement les attentes initiales. En 2018, Google publie BERT (Bidirectional Encoder Representations from Transformers), qui atteint l'état de l'art sur onze tâches de traitement du langage naturel. La même année, OpenAI lance GPT (Generative Pre-trained Transformer), démontrant que des Transformers entraînés sur de massifs corpus de textes non annotés peuvent générer du texte cohérent et sophistiqué. L'architecture devient la base absolue de tous les grands modèles de langage : GPT-2, GPT-3, GPT-4, BERT, T5, Gemini, Claude. La décennie 2017-2027 voit le Transformer transformer l'industrie technologique mondiale. Les applications pratiques couvrent les assistants conversationnels, la traduction automatique, la génération de code, l'analyse de texte et la création artistique. Le Transformer marque l'ouverture de l'ère de l'intelligence artificielle générative, dont les implications économiques, sociales et culturelles continuent de se déployer.