Si l’on accepte l’idée qu’un neurone artificiel n’est pas fondamentalement différent de son homologue biologique, on peut imaginer un réseau de neurones artificiels d’une taille comparable à celle du cerveau humain et qui, grâce à un entraînement adéquat, pourrait avoir des facultés similaires.

Le cerveau humain compterait environ 100 milliards de neurones et chacun d’entre eux aurait, grâce aux synapses, des connexions avec 1000 autres neurones. On arriverait ainsi à un total de plus de 100’000 milliards de synapses. ChatGPT-4 devrait compter 180’000 milliards de paramètres (ou synapses), soit 10 fois plus que ChatGPT-3.5!

No limit

Les chercheurs estiment que les modèles d’IA vont voir leur taille et leurs facultés continuer à progresser. Ilya Sutskever, ex-scientifique en chef d’OpenAI, pense même que l’architecture actuelle de l’IA n’a aucune limite sur le plan de ses capacités.

Les modèles d’IA sont capables de créer eux-mêmes des données, données dites synthétiques, qui peuvent être utilisées à leur tour pour entraîner d’autres modèles.

Le nombre de paramètres n’est pas le seul facteur déterminant de la performance d’un modèle d’IA. Les progrès en matière d’architecture et l’accès à des données plus nombreuses et de meilleure qualité peuvent également améliorer sensiblement la performance des modèles.  On le voit très nettement avec le dernier modèle Llama 3 de Meta: malgré un nombre réduit de paramètres, ses résultats sont impressionnants.  L’exploitation d’un nombre accru de données durant sa période d’entraînement a permis d’améliorer ce modèle bien au-delà de ce qui était attendu.

Sam Altman, PDG et cofondateur d’OpenAI, estime que l’on peut affirmer avec un degré élevé de certitude que ChatGPT-5 sera nettement plus performant que son prédécesseur et qu’il en sera de même pour le successeur de ChatGPT-5. Selon lui, l’amélioration de ces modèles est loin d’avoir atteint ses limites, car les connaissances nécessaires pour les faire progresser sont là.

Les prochaines avancées en matière de modèles d’IA devraient porter sur l’allongement des fenêtres contextuelles (la fenêtre correspondant à la quantité de texte, souvent mesurée en jetons ou tokens, qu’un modèle de langage peut traiter en une fois pour faire ses prédictions), la réduction de la latence (donc du temps de réponse), la réduction du coût de l’inférence (autrement dit du coût d’utilisation du modèle), ainsi que sur l’amélioration du raisonnement, des projections et de la mémoire (c’est-à-dire de la capacité du modèle à se rappeler les interactions antérieures). Grâce à ces progrès, des super-assistants personnalisés devraient pouvoir voir le jour et améliorer la productivité de tout un chacun.

Le modèle d’IA le plus performant actuellement sur le plan des fenêtres contextuelles est le Gemini 1.5 de Google qui dispose d’une fenêtre de 1 million de jetons, soit l’équivalent d’environ 1 heure de vidéo, de 11 heures d’audio, de 30’000 lignes de code ou de 700’000 mots (environ 8 livres). Plus la fenêtre contextuelle est grande, plus le modèle est en mesure d’extraire d’informations d’un prompt (requête ou série de données fournies à un système d’IA), ce qui lui permet de générer des réponses plus utiles.

Objections balayées

Les sceptiques estiment que la limite des données disponibles sera atteinte prochainement, ce qui mettrait un frein à l’amélioration des modèles d’IA. Mais cet argument ne tient pas dans la mesure où les modèles d’IA sont capables de créer eux-mêmes des données, données dites synthétiques, qui peuvent être utilisées à leur tour pour entraîner d’autres modèles. Par ailleurs, on assiste à l’essor des modèles d’IA multimodaux qui sont capables de s’entraîner à partir de données autres que le texte, à savoir les images, la vidéo ou l’audio. Si l’on se base sur le dicton qui veut qu’une image vaille mille mots, il pourrait en aller de même pour l’entraînement des modèles d’IA.

Pratiquement tout peut servir d’intrant ou d’extrant à un modèle d’IA : du discours à la vidéo, du mouvement à la captation d’informations. Cette caractéristique est particulièrement importante dans le contexte d’applications telles que la conduite autonome ou les robots humanoïdes, deux secteurs qui progressent rapidement grâce aux modèles d’IA.

Une autre objection fréquente porte sur la difficulté croissante à améliorer le hardware. Or, l’approche système présentée par NVIDIA ouvre une toute nouvelle voie dans l’architecture computationnelle et elle va permettre de continuer à gagner en efficacité dans le hardware.

L’explosion de la taille des modèles d’IA va se traduire par une augmentation exponentielle de leurs coûts d’entraînement.  Ces derniers se sont élevés à plus 100 millions de dollars pour ChatGPT4 et, récemment, Open AI et Microsoft ont annoncé la construction du plus grand superordinateur au monde, un projet de 100 milliards de dollars baptisé Stargate.

Le TAM se mesure en trillions

Les modèles d’IA vont probablement continuer à progresser et, aujourd’hui déjà, ils offrent des gains de productivité impressionnants.  Mais nous ne faisons probablement qu’effleurer la surface de leur potentiel. Si l’IA peut créer, raisonner et interagir d’une manière similaire à l’humain, elle est également en mesure d’accomplir des tâches dont les logiciels traditionnels n’ont jamais été capables. Il serait donc faux d’évaluer le marché disponible total (TAM) de l’IA sur la seule base d’un marché des logiciels dont la taille actuelle est d’environ 600 milliards d’euros.  Une mesure plus précise du TAM devrait également inclure les services et la production manufacturière qui représentent ensemble quelques dizaines de trillions.

Aussi la captation d’une toute petite partie de ce marché, que ce soit dans le but de réduire les coûts d’exploitation ou dans celui de créer de nouvelles sources de revenus, constituerait-elle un argument économique solide pour investir massivement dans une IA qui a le potentiel de révolutionner l’industrie et de repousser les limites de la technologie.