IA : que sont les LLM et que peuvent-ils faire pour la gestion d'actifs ?

Stefan, les Large Language Models (LLM) ont été développés pour comprendre et générer du langage humain. Comment y parviennent-ils ?

Les LLM sont des réseaux neuronaux (neuronal networks) spécialisés dans la prédiction du prochain mot d'un texte. Ils sont basés sur l'architecture dite « Transformer », promue par Google en 2017 dans le document « Attention is All You Need ». Le modèle se compose de plusieurs éléments, dont le « word embedding », c'est-à-dire la conversion de mots en vecteurs numériques. Un encodeur traite ensuite ces nombres et un décodeur les transforme en texte. Mais l'élément clé qui a permis aux LLM de percer est l'« attention head ». Celui-ci évalue l'importance de chaque mot par rapport à tous les autres mots de la séquence afin de comprendre le contexte et d'en extraire les informations pertinentes.

L'entraînement des LLM nécessite des processeurs graphiques (GPU) puissants. Comment se déroule l'entraînement ?

L'entraînement est un processus en deux étapes, consistant en un « Pretraining » du modèle de base et en un « Finetuning » ultérieur. Lors du pré-entraînement, le modèle est typiquement entraîné une fois par an avec de grandes quantités de données, souvent issues d'Internet. Cela nécessite des milliers de GPU, ce qui entraîne des coûts élevés. Lors du « Finetuning », des experts créent des exemples types et évaluent les réponses du LLM. Le « Finetuning » est effectué une fois par semaine, par exemple, et le feedback humain permet d'améliorer continuellement le modèle. Cette combinaison de l'apprentissage automatique et du feedback et de la surveillance humains permet d'optimiser les LLM afin d'obtenir de meilleures réponses et d'apprendre à se comporter de manière éthique.

Le cerveau humain stocke les informations en modifiant les synapses entre les cellules cérébrales. Où les connaissances sont-elles stockées dans les LLM ?

Un LLM est composé de nombreuses couches neuronales interconnectées. Ces connexions ont des forces différentes, représentées par ce que l'on appelle des poids. Chaque poids détermine la force avec laquelle le signal est transmis d'un neurone à l'autre. Au cours du processus d'entraînement avec de grandes quantités de données, ces poids sont optimisés. La connaissance dans les grands LLM est stockée dans les poids et les connexions ainsi que dans la structure des réseaux neuronaux. Chat GPT-4 a environ 1,7 million de milliards de poids. A titre de comparaison, le cerveau humain compte 100 mille milliards de synapses. Cet écart pourrait toutefois fondre rapidement, car le développement des LLM est rapide et les modèles de plus en plus grands.

Le psychologue Daniel Kahneman décrit la pensée humaine à l'aide de deux systèmes. Le système instinctif fonctionne rapidement et automatiquement, sans effort conscient. Le système logique, quant à lui, nous permet de résoudre des tâches complexes étape par étape. Qu'en est-il des LLM ?

Les LLM actuels, comme Chat GPT-4, ont des performances impressionnantes dans le domaine du premier système. Ils peuvent traiter rapidement de grandes quantités de texte et sont particulièrement adaptés aux tâches nécessitant des réponses automatiques rapides. Cependant, il manque aux LLM un véritable équivalent du système logique de Kahneman. Ils ne peuvent pas résoudre les problèmes de la même manière progressive et logique qu'un être humain, qui procède de manière consciente et méthodique. La recherche en IA s'oriente de plus en plus vers des systèmes d'exploitation d'IA (AI-Operating Systems, AI-OS) qui intègrent différentes intelligences artificielles et applications spécialisées et coordonnent leur collaboration. Ces applications spécialisées se concentrent sur des tâches spécifiques et l'intégration avec l'AI-OS permet de résoudre des problèmes complexes de manière à la fois rapide et intuitive et logique et méthodique.

Les systèmes d'IA sont-ils réellement intelligents au sens où nous l'entendons ?

C'est un sujet très débattu, avec des opinions parfois contradictoires. Les modèles d'IA n'ont certes pas d'opinion ou de conscience propre. Mais ils peuvent offrir une perspective informée basée sur les discussions et les recherches actuelles. Le pionnier de l'IA Geoffrey Hinton l'illustre avec l'exemple suivant :

La réponse correcte du chat GPT-4 montre que les LLM fournissent désormais des réponses étonnantes. Pour prédire correctement le prochain mot d'une phrase, un LLM doit comprendre le texte. Cependant, les LLM ne sont pas encore capables de comprendre le monde de manière aussi complète et profonde que l'homme. Une différence majeure réside dans la manière dont les LLM et les humains apprennent. Les LLM sont entraînés exclusivement avec des données textuelles. Les humains, en revanche, apprennent non seulement par la parole, mais aussi et surtout par l'expérience directe et le vécu. Ceux-ci nous permettent de comprendre des relations complexes, de ressentir des émotions et de trouver des solutions créatives.

Les LLM n'ouvrent pas seulement des opportunités, ils comportent aussi des dangers. Le penseur de l'IA que vous avez mentionné, Geoffrey Hinton, a récemment averti que la superintelligence arriverait plus tôt que prévu. Comment faut-il interpréter cela ?

Cet avertissement est d'autant plus remarquable que Geoffrey Hinton est connu pour être un chercheur réservé et réfléchi. Son avertissement vise à motiver les gouvernements et les entreprises à se pencher sérieusement sur le développement et la réglementation de l'IA. Le principal danger, selon Hinton, réside dans la nature immortelle des modèles d'IA, qui peuvent être dupliqués à volonté et copiés en quelques secondes. Les humains, en revanche, ne peuvent échanger des informations que lentement, et leurs connaissances sont perdues à leur mort. Cette dynamique asymétrique présente des risques importants, car de puissants systèmes d'IA pourraient être utilisés à mauvais escient sans contrôles adéquats, par exemple en diffusant de la désinformation, en manipulant les opinions, en menant des cyber-attaques ou en violant la vie privée.

La gestion des actifs pourrait également bénéficier de l'utilisation de transformateurs et de LLM. Quels sont les exemples d'application ?

L'architecture des transformateurs des LLM peut être utilisée pour prédire les séries temporelles et les tendances futures. Au sein de l'équipe Systematic Equity de l'Asset Management de la Zürcher Kantonalbank, nous travaillons actuellement au développement d'un modèle de prévision des rendements boursiers à l'aide de transformers. Les LLM peuvent également être utilisés pour analyser les rapports trimestriels des entreprises. En évaluant le sentiment exprimé dans les rapports d'entreprise, les actualités et les conférences téléphoniques, les investisseurs peuvent mieux comprendre le sentiment et les potentielles évolutions futures d'une entreprise.

Les LLM aident donc également à l’analyse des actions ?

En fait, l'aide à l'analyse des actions est un autre domaine d'application important de l’IA. Les LLM peuvent traiter et synthétiser de grandes quantités de données provenant de différents rapports. Cela offre aux analystes une source d'information complète et facilite le traitement et l'évaluation des données disponibles. Ils peuvent ainsi prendre des décisions plus éclairées et fonder leurs recommandations sur une base de données plus large.