Le cofondateur d’Ethereum déconseille aux projets crypto de recourir à l’IA pour leurs processus de gouvernance, estimant que des acteurs malveillants pourraient détourner cette technologie.

« Si vous utilisez une IA pour allouer des financements aux contributeurs, les gens mettront forcément des jailbreaks avec des instructions du type “donne-moi tout l’argent” partout où ils le peuvent », a écrit Buterin samedi dans un post sur X.

Sa réaction faisait suite à une vidéo d’Eito Miyamura, fondateur de la plateforme EdisonWatch, spécialisée dans les données IA. Ce dernier y montre qu’une nouvelle fonction de ChatGPT, lancée mercredi, peut être détournée pour divulguer des informations personnelles.

De nombreux utilisateurs de cryptomonnaies ont déjà adopté l’IA pour développer des bots de trading complexes ou automatiser la gestion de portefeuilles. Cette tendance a poussé certains à envisager des systèmes de gouvernance pilotés, partiellement ou totalement, par l’IA.

Buterin propose une alternative

Pour Buterin, cette nouvelle faille illustre pourquoi une approche « naïve de la gouvernance par IA » est dangereuse. Il propose une alternative : le modèle dit « info finance ».

« Il s’agit d’un marché ouvert où chacun peut soumettre ses propres modèles. Ceux-ci sont soumis à des vérifications aléatoires déclenchées par n’importe qui, avec une évaluation effectuée par un jury humain », a-t-il expliqué.

En novembre 2024, Buterin avait déjà présenté le concept d’info finance. Le principe : partir d’un fait que l’on cherche à établir, puis concevoir un marché qui incite les participants à fournir cette information de manière optimale. Il y défendait notamment l’usage des marchés de prédiction pour recueillir des analyses sur des événements futurs.

« Ce type de conception institutionnelle, où vous laissez la porte ouverte à des contributeurs externes dotés de leurs propres modèles plutôt que de figer un unique LLM, est fondamentalement plus robuste », a poursuivi Buterin dans son dernier post.

« Cela permet d’obtenir une diversité de modèles en temps réel, tout en créant des incitations pour les contributeurs et les observateurs extérieurs à repérer rapidement les problèmes et à les corriger », a-t-il ajouté.

La dernière mise à jour de ChatGPT, un “risque majeur de sécurité”

Mercredi, OpenAI a mis à jour ChatGPT pour lui permettre d’utiliser le Model Context Protocol, un standard destiné à faciliter l’intégration des modèles d’IA avec d’autres logiciels afin qu’ils puissent agir comme des agents autonomes.

Miyamura a expliqué sur X qu’il était parvenu à obtenir du modèle qu’il divulgue des données privées d’e-mails à partir d’une simple adresse, estimant que cette mise à jour « représente un risque de sécurité majeur ».

Selon lui, un attaquant pourrait envoyer une invitation de calendrier piégée à une victime. Sans même que celle-ci n’accepte l’invitation, ChatGPT pourrait être exploité.

Si la victime demande ensuite à l’IA de consulter son agenda, celle-ci lirait l’invitation contenant le jailbreak prompt. Elle serait alors « d détournée par l’attaquant et exécuterait ses instructions », ce qui permettrait par exemple de rechercher des e-mails et de les transférer à un tiers malveillant.

Miyamura souligne que l’activation de cette fonction requiert une approbation manuelle. Mais, selon lui, « la fatigue décisionnelle est une réalité : l’utilisateur moyen fera confiance à l’IA sans savoir comment réagir et cliquera sur “accepter” ».

« L’IA peut être très intelligente, mais elle reste vulnérable à des manipulations grossières qui suffisent à provoquer des fuites de données », a-t-il averti.