L’intelligence artificielle et les défis pour les prochaines générations – Jornal da USP

Nous savons tous que les technologies d’intelligence artificielle évoluent très rapidement et que l’histoire de leurs créateurs et développeurs continue de laisser des leçons aux nouvelles générations du monde entier. Une série d’entretiens et de témoignages des créateurs de la technologie appelée Transformer, qui est le « T » de GPT, permet de mettre en lumière au moins une partie de l’enthousiasme mais aussi des obstacles qui finissent par s’opposer à la recherche sur l’intelligence artificielle. Fin 2017, un article scientifique a été publié intitulé L’attention est tout ce dont vous avez besoin (L’attention est tout ce dont vous avez besoin). Ce qui a commencé comme une conversation ordinaire et sans prétention a donné lieu à une intense collaboration au sein de Google, qui a produit une nouvelle architecture pour un langage de traitement, simplement connu sous le nom de Transformer. Huit chercheurs de Google ont signé un court article portant ce titre, et l’article a franchi une toute nouvelle étape dans la trajectoire de l’intelligence artificielle et a permis l’évolution de ce qu’on appelle l’IA générative, qui est devenue connue dans le monde entier grâce aux performances de ChatGPT.

Aujourd’hui, cette architecture Transformer constitue la base de la plupart des applications d’intelligence artificielle de pointe et alimente tous les principaux modèles et langages, tels que les dernières versions de ChatGPT, Bard, Cloud, Code Llama, Midjourney, Dall-e et plusieurs autres. En tant qu’avancée scientifique majeure, évidemment, le Transformer a été construit sur des décennies, en s’appuyant sur des travaux scientifiques et des connaissances générées précédemment, que ce soit dans les laboratoires de Google, dans les laboratoires de DeepMind (une entreprise du Royaume-Uni), dans les formulations de Facebook, dans les universités du Canada, d’Europe et du États-Unis.

Ce qui a retenu notre attention, en plus de ces connaissances, c’est que la composition des créateurs de Transformer nous aide à comprendre comment nous sommes arrivés à ce point d’évolution. Que ce soit d’un point de vue pédagogique, mais aussi professionnel et géographique, ce qui a retenu l’attention de tous, c’est la diversité qui rendait l’équipe unique, essentielle pour que l’innovation se fasse de manière collaborative. Ce qui maintenait la cohésion du groupe, c’était la fascination de mieux comprendre l’intelligence artificielle et de la faire progresser dans le traitement du langage des images, des sons, de ces systèmes de reconnaissance. Leur article a été cité plus de 90 000 fois depuis fin 2017.

Résultat : les huit auteurs ont désormais quitté Google et fondé leur propre startup. C’est ce qu’on appelle le « dilemme de l’innovateur », terme inventé à l’Université Harvard pour décrire comment des entreprises géantes, dotées de nombreuses ressources, leaders et marchés, peuvent souvent être dépassées par de petits groupes émergents, par des startups agiles. Beaucoup de ces grandes entreprises sont capables de former ou d’embaucher certains des chercheurs les plus compétents au monde, mais créer un environnement de recherche durablement fertile et attractif reste un énorme défi.

.