🤖 Connaissez vous l'histoire des Transformers?

Tout est parti d'un groupe de chercheur chez Google qui travaillaient pour améliorer les algorithmes de traduction pour les rendre + pertinents et + rapides :

Noam Shazeer, Llion Jones , Jakob Uszkoreit, Illia Polosukhin, Ashish Vaswani, Niki Parmar , Aidan Gomez, Lukasz Kaiser

Les algos traitaient toujours ces séquences de manière strictement séquentielle – mot par mot fastidieux – et il manquait des indices contextuels qui pourraient apparaître plus loin dans le texte. « Les méthodes appliquées étaient en fait des pansements », pour Uszkoreit un des co auteurs Transformer.
« Nous ne pouvions pas obtenir les bons éléments pour vraiment fonctionner à grande échelle. »

En 2014, il a commencé à élaborer une approche différente qu’il a appelée
« auto-attention ».
Ce type de réseau peut traduire un mot en faisant référence à n’importe quelle autre partie d’un passage.
Ces autres parties peuvent clarifier l’intention d’un mot et aider le système à produire une bonne traduction.

Jakob Uszkoreit pensait qu’un modèle d’auto-attention pourrait être potentiellement plus rapide et plus efficace que les réseaux neuronaux récurrents. La façon dont il gère les informations était aussi parfaitement adaptée aux puces GPU qui étaient produites en masse pour soutenir l’essor de l’apprentissage automatique. Au lieu d’utiliser une approche linéaire (examiner chaque mot dans l’ordre), il adopte une approche plus parallèle (examiner plusieurs mots ensemble).

En 2016 l'équipe a élaboré un document de conception intitulé
« Transformers : Auto-attention et traitement itératifs pour diverses tâches ».

Et ce nom « transformers » a été choisi en référence au « jour zéro ».
L’idée était que ce mécanisme transformerait les informations qu’il recueillait, permettant au système d’extraire autant de compréhension qu’un humain pourrait le faire – ou du moins de donner l’illusion de cela.

⏹️ Et pourquoi ce nom ❓
Parce que Uszkoreit était fan des jeux avec les figurines d’action Hasbro.

C'est Noam Shazeer qui a codé l'Algo de transformateurs ce qui a permis de faire les premiers jeux de résultats dans l'optique de les publier (et de déposer des brevets! )

Tous étaient motivés pour respecter une échéance importante :
le 19 mai2017,
date limite de dépôt des articles à présenter lors du plus grand événement de l’année consacré à l’IA, la conférence Neural Information Processing Systems en décembre 2017.

Et c'est de ces Transformers que vient le T de ChatGPT
(Et c'est à ce moment là qu'on comprend l'importance de mon histoire!
mais c'est que le début....à suivre !!!!! )

🔗 L'article Attention is all your need
https://arxiv.org/abs/1706.03762

Alors ce fameux article de
Noam Shazeer, Llion Jones , Jakob Uszkoreit, Illia Polosukhin, Ashish Vaswani, Niki Parmar , Aidan Gomez, Lukasz Kaiser
a suscité un certain buzz. La session de quatre heures du 6 décembre 2017 étaient bondée . Les auteurs ont parlé jusqu’à 22 h 30, lorsque la session s’est terminée, il y avait encore du monde. La sécurité a dû faire de partir les plus bavards.

Google, comme presque toutes les entreprises technologiques, a rapidement déposé des brevets provisoires sur ces travaux. Il ne s’agissait pas d’empêcher d’autres d’utiliser ces idées, mais de constituer son portefeuille de brevets à des fins défensives. (La philosophie de l’entreprise est la suivante : « Si la technologie progresse, Google en récoltera les bénéfices. »)

🏎️ Une start-up du nom d’OpenAI a été beaucoup plus rapide à réagir .
Peu après la publication de l’article, le chercheur en chef d’OpenAI,
Ilya Sutskever, qui connaissait l’équipe Transformer lorsqu’il travaillait chez Google, a suggéré à l’un de ses scientifiques, Alec Radford, de travailler sur l’idée. Les résultats ont été les premiers produits GPT. Comme me l’a dit l’année dernière le CEO d’OpenAI, Sam Altman, « lorsque l’article sur Transformer est sorti, je ne pense pas que quiconque chez Google ait compris ce que cela signifiait. »

Du coup en interne chez Google c'est compliquée. « Il était assez évident pour nous que les transformateurs pouvaient faire des choses vraiment magiques », explique Uszkoreit.
La grande question n'est pas de savoir s'ils l'ont vu. La question est de savoir pourquoi ils n'ont rien fait du fait qu'ils connaissaient ce projet.

Mais sans cet environnement Google , pas de transformateur.
Non seulement les auteurs étaient tous des employés de Google, mais ils travaillaient aussi dans les mêmes bureaux. Les rencontres dans les couloirs et les conversations entendues au cours du déjeuner ont donné lieu à de grands moments. Le groupe est également diversifié sur le plan culturel. Six des huit auteurs sont nés hors des États-Unis ; les deux autres sont respectivement les enfants de deux Allemands détenteurs de cartes vertes qui se trouvaient temporairement en Californie et d'un Américain de première génération dont la famille a fui les persécutions.
Uszkoreit, aujourd'hui explique que l’innovation est avant tout une question de conditions propices. « Il faut réunir des gens qui sont très enthousiastes à propos d’un projet et qui sont au bon moment de leur vie », explique-t-il. « Si vous avez cela, que vous vous amusez et que vous travaillez sur les bons problèmes – et que vous avez de la chance – la magie opère. »


Etonnant comment l'histoire de l'innovation se répète !
Non?


Références 

https://france.devoteam.com/paroles-dexperts/attention-is-all-you-need-comprendre-le-traitement-naturel-du-langage-avec-les-modeles-transformers/
https://www.youtube.com/watch?v=PcfsAuDTt1I
https://www.youtube.com/watch?v=fjJOgb-E41w
https://www.youtube.com/watch?v=bCz4OMemCcA
https://www.youtube.com/watch?v=eMlx5fFNoYc