Titre :
|
Small is beautiful : les grands modèles de langage vont-ils continuer à grandir ? (2023)
|
Auteurs :
|
Françoise Soulié-Fogelman, Auteur
|
Type de document :
|
Article : texte imprimé
|
Dans :
|
ActuIA (N°13, Octobre - décembre 2023)
|
Article en page(s) :
|
p. 16-18
|
Langues:
|
Français
|
Sujets :
|
IESN
Large Language Models - LLMs
;
Modèle de langage (informatique)
;
Taille
|
Résumé :
|
"Depuis 5 ans, la course à la performance a poussé les concepteurs de grands langages de modèles (Large Language Models ou LLMs) à créer des modèles de plus en plus "grands" justement. Si on mesure la taille d'un LLM par son nombre de paramètres N (le nombre de poids du modèle Transformer que l'entraînement va permettre d'apprendre), N est passé de 94 millions pour ELMo en 2018 à 175 milliards pour GPT3 en 2020 et 530 milliards pour Megatron-Turing en 2022." (Extrait de ActuaIA n°13)
|