Illustration par DALL·E (+ le réalisme socialiste)
Dans un commentaire ici le 29 novembre dernier je posais à GPT-4 la question du financement des Grands Modèles de Langage par le militaire aux États-Unis :
P.J. :
La DARPA a-t-elle joué un rôle important dans le financement de la R&D des Grands Modèles de Langage ?
GPT-4 :
La DARPA (Defense Advanced Research Projects Agency), une agence du ministère de la défense des États-Unis, a joué un rôle important dans le financement de divers projets de recherche avancée, notamment dans le domaine de l’intelligence artificielle et de l’informatique. Toutefois, l’implication directe de la DARPA dans le financement de la R&D concernant spécifiquement les grands modèles de langage (LLM) tels que le GPT-4 est moins claire et n’a pas fait l’objet d’une grande publicité.
Le développement des LLM, y compris ceux de l’OpenAI, a été principalement stimulé par des investissements de sociétés de capital-risque, d’entreprises privées et d’autres sources non gouvernementales. OpenAI elle-même a commencé en tant qu’organisation de recherche à but non lucratif et a ensuite formé une entité à but lucratif plafonné afin d’attirer plus d’investissements pour ses projets ambitieux.
Toutefois, la DARPA a toujours financé la recherche fondamentale dans le domaine de l’intelligence artificielle et de l’apprentissage automatique, ce qui influence indirectement le domaine des LLM. Ces fonds sont souvent consacrés à des recherches plus larges sur l’intelligence artificielle, qui peuvent inclure des aspects du traitement et de la compréhension du langage naturel, mais ils ne sont généralement pas destinés spécifiquement au développement de modèles de langage tels que le GPT-4.
Pour obtenir des détails spécifiques sur l’implication de la DARPA dans la R&D sur les LLM, il faudrait examiner les projets ou programmes spécifiques qu’elle a financés, mais ces informations peuvent ne pas être entièrement accessibles au public en raison de la nature du travail de la DARPA et de sa focalisation sur les applications liées à la défense.
Or on en apprend bien davantage ces jours-ci dans un document intitulé DARPA Information Innovation Office (I2O) Office Wide Proposers Day Q&A, dont j’ai traduit une partie à votre intention *. La DARPA répond là aux questions sur lesquelles GPT-4 n’avait su m’éclairer.
Question : Au cours de l’année écoulée, comment la DARPA et les programmes de la DARPA qui voient le jour restent-ils pertinents face aux progrès rapides de l’IA ? Comment le DARPA conserve-t-il sa pertinence face à un tel rythme ?
Réponse : L’un des domaines est la structure du programme. Le AI Cyber Challenge (AIxCC) est une compétition dans le cadre de laquelle nous nous associons à des entreprises de grands modèles de langage (Anthropic, Google, Microsoft et OpenAI) pour fournir un accès au calcul aux participants à la compétition.
Au fur et à mesure que les capacités se développent, les artistes qui les utilisent sont également en mesure de tirer parti de ces capacités avancées. Il s’agit là d’un modèle. Par ailleurs, nous garderons un œil sur ce qui se passe si la capacité sur laquelle nous travaillons dans le programme devient dépassée, nous arrêterons le programme et le régénérerons ou ferons quelque chose d’autre. Par ailleurs, toutes les frontières ne progressent pas au même rythme. L’apprentissage par renforcement n’avance pas aussi vite que le modèle du transformateur. Le rythme des modèles de frontière ralentit un peu. Une grande partie des résultats que nous observons actuellement consiste à comprendre ce qu’ils font et ce qu’ils ne font pas. Ils n’ont pas encore publié le GPT5. Ils n’ont même pas commencé à former GPT5 en raison du ralentissement de la sortie des H100 dû aux problèmes de production de la Taiwan Semiconductor Manufacturing Company Limited (TSMC). Nous avons donc un peu de répit. Le modèle Gemini, l’intégration de la partie planification dans le LLM, nous ne sommes pas sûrs, nous manquons de transparence, mais il y a de grands problèmes de recherche qui doivent encore être résolus. Entendre les gens dire que nous sommes « juste un peu loin de l’intelligence artificielle générale (AGI) » est un peu plus optimiste que la réalité. Il y a des choses comme le problème de l’arrêt. Il y a encore des choses exponentielles. Nous avons toujours besoin de ressources. Je pense qu’il y aura encore des problèmes très difficiles qui ne seront pas résolus par la mise à l’échelle.
Question complémentaire : Ma question est la suivante : quand vous aurez, peut-être pas l’AGI, mais un système qui aide les humains et toutes les personnes présentes dans cette pièce à progresser si rapidement qu’avant que l’AGI n’arrive, il y aura un apex, et non pas une croissance asymptotique où nous devrons constamment faire face à cela ?
Réponse complémentaire : Nous nous efforçons de ne pas entraver l’action de l’industrie. Nous essayons de résoudre des problèmes et de travailler sur des problèmes que l’industrie ne fera pas demain. Nous ne prévoyons pas de travailler sur des modules linguistiques multimodaux de grande taille, parce qu’ils le feront un jour. Nous n’essayons pas de travailler sur l’intégration de nouvelles informations dans un LLM parce qu’ils vont le faire dès qu’ils le pourront. Nous essayons de travailler sur des choses sur lesquelles ils ne travailleront pas tout de suite. Nous ne l’avons pas encore fait, mais nous pourrions nous intéresser à la sécurité multi-niveaux, car nous pensons que c’est un sujet qui intéresse davantage le DoD que l’industrie. Cela figure peut-être sur la feuille de route de l’industrie, mais dans un avenir plus lointain. Je ne connais pas les bonnes réponses, mais la question de savoir ce qu’ils vont faire et dans quel délai, et ce que nous devrions faire, est quelque chose dont nous parlons tout le temps. Avons-nous des réponses parfaites ? Non, mais nous posons-nous constamment cette question ? Oui.
Question : Vous avez souligné ici aujourd’hui que le code généré par les systèmes d’IA va simplement augmenter en portée et en échelle d’une manière que nous pouvons à peine imaginer ? Quelle est l’importance pour la DARPA de la vérification de la fonctionnalité et des propriétés de sécurité de ce code ?
Réponse : C’est une question sur laquelle nous avons beaucoup réfléchi. Il est clair que les entreprises vont beaucoup travailler sur la génération d’un grand nombre de codes. Nous ne sommes pas certains qu’elles généreront un code de haute qualité ou qu’elles se soucieront de générer un code de haute qualité. Il est clair que générer des preuves de code et générer des spécifications, des spécifications, des codes et des preuves sont des langages qui font tous partie de la panoplie des LLM ; les lier ensemble pourrait être difficile. Il est certain qu’il est difficile d’essayer de générer des spécifications, des codes et des preuves qui sont vérifiés. Je vous recommande de parler au Dr Velasquez et à M. Martin. Il y a des tonnes de code sur le web, et beaucoup d’entre eux ne sont pas bons. Je crois qu’une étude réalisée il y a cinq ans par Stack Overflow montre qu’il y a généralement une bonne réponse de sécurité à une question, mais qu’elle est généralement la numéro 10. Cela signifie qu’il y a 9 mauvaises réponses avant la bonne réponse.
Une autre question est abordée maintenant, dont j’avais traité dans une vidéo du 18 décembre 2020 :
Vidéo dont vous retrouverez la retranscription ici.
J’y disais entre autre ceci :
Et donc, les États-Unis se retrouvent ce matin à savoir … qu’ils ne savent pas où se trouvent des logiciels qui observent tous leurs mouvements, à 18 000 endroits importants pour eux, comme le Ministère des Finances, des firmes qui sont impliquées dans le réseau d’électricité et justement dans la gestion de l’armement nucléaire. Il y a une puissance étrangère, dont je rappelle la liste des suspects et du responsable éventuel : la Russie, la Chine ou les extra-terrestres.
Voici la réponse qui nous est offerte 3 ½ ans plus tard :
Question : Qu’est-ce qui intéresse particulièrement la DARPA ? Quel est l’intérêt particulier de la DARPA pour la protection des réseaux électriques et de leurs systèmes de contrôle industriels ?
Réponse : Il y a quelque temps, la DARPA a lancé le programme RADICS, qui portait précisément sur ce problème. Certains des résultats de ce programme se sont révélés très intéressants. La réponse initiale de l’industrie de l’énergie a été la suivante : « Nous savons parfaitement comment démarrer à froid une centrale électrique. C’est dans nos cordes, nous le faisons tout le temps en cas d’ouragan ou de catastrophe naturelle ». La partie qui n’était pas vraiment dans leurs cordes était de savoir comment faire lorsque les capteurs leur mentent. Ce qui, bien sûr, est tout à fait dans les cordes des attaquants qui s’emparent des données fournies par les capteurs. Je pense donc que le programme a été un succès du point de vue de l’ouverture des yeux de l’industrie de l’énergie sur ce à quoi ressemblerait une cyberattaque. Il a permis de transférer un ensemble d’outils aux opérateurs de réseaux électriques dans tout le pays. Nous n’avons donc pas d’efforts en cours. Il y a encore des choses en cours dans ce domaine. L’approche ou l’effort actuel dans le domaine de l’électricité s’inscrit dans le cadre d’un effort plus large en matière de cyberinfrastructure ou d’infrastructure en général, à savoir l’effort AIxCC qui a été lancé lors de la conférence Black Hat à Las Vegas : « Pouvons-nous utiliser des outils basés sur l’IA pour aider à trouver et suggérer automatiquement des réparations aux logiciels open-source ? Un article publié il y a quelques mois a montré que ChatGPT était à peu près aussi performant que les outils sur mesure pour trouver et suggérer des réparations aux logiciels, mais qu’en outre, la réponse la plus fréquente était « J’ai besoin de plus d’informations ». Avec ChatGPT, vous pouvez demander « Quelles sont les informations supplémentaires que vous souhaiteriez obtenir ? » sous une forme humaine, puis vous pouvez avoir une conversation avec lui et, au cours de cette conversation, il a été en mesure de trouver et de corriger des problèmes importants et d’obtenir davantage d’informations. En tirant parti de ces connaissances, nous avons lancé le AI Cyber Challenge, qui est axé sur les logiciels libres et nous nous sommes associés à l’Open Source Software Foundation pour aider à orienter le concours vers les types de logiciels typiques de ces centrales électriques et d’autres types de logiciels d’infrastructure, afin qu’ils soient adaptés à ces types de défis et qu’ils puissent être intégrés dans les processus d’acceptation, de sorte que les humains puissent ensuite approuver les changements suggérés et publier le logiciel. D’une certaine manière, il s’agit d’une réponse au témoignage d’Avril Haines : que se passerait-il si nous devions trouver et corriger des bogues à grande échelle très très rapidement ?
Réponse de Sergey Bratus : Nous sommes donc engagés auprès du National Renewable Energy Laboratory (NREL). Il s’agit pour lui de répondre à la vision « Net 0 » d’ici 2050. Cela signifie pour eux qu’ils ont besoin de micro-réseaux qui communiquent de manière fiable et sécurisée à une échelle que personne n’a jamais atteinte auparavant. Ils étudient les méthodes formelles et les moyens rapides de réparer les logiciels existants dans cette optique.
Bonus :
Question : Dans quelle mesure la DARPA envisage-t-elle sérieusement la possibilité que des logiciels soient développés par l’IA ?
Réponse : La DARPA a une position sur le sujet. Mon opinion est qu’il s’agira d’un outil qui aidera les gens à écrire des logiciels plus rapidement. En particulier les logiciels de base ennuyeux, mais il n’automatisera pas le processus. Je ne pense pas que les personnes qui écrivent du bon code se retrouveront au chômage dans un avenir proche. Je suis peut-être trop optimiste, mais cela me semble inconcevable. Je pense que l’IA écrira de toute façon, dans un avenir proche, une grande partie des logiciels de base, comme les frameworks ou autres, le code que tout le monde déteste écrire.
Conclusion :
Sachant que la DARPA a financé la mise au point du système GPS et est un des principaux financiers de l’invention de l’Internet, diriez-vous que les firmes sus-mentionnées (Anthropic, Google, Microsoft et OpenAI) ne sont que les sous-traitants du Ministère de la Défense américain ?
Question subsidiaire : La situation est-elle exactement la même dans chacun des pays ayant un secteur informatique de pointe ou y a-t-il de petites variations locales ?
* Document longuement commenté par Wes Roth Il y a 3 jours (1er avril)
Illustration par DALL·E (+ le réalisme socialiste)
Laisser un commentaire