Alors que les avancées de l'intelligence artificielle ouvrent des opportunités dans divers secteurs, ces innovations peuvent aussi devenir des cibles pour les pirates, mettant en lumière un potentiel inquiétant d'abus de l'IA.

Le département de renseignement sur les menaces de Google a publié un document intitulé Adversarial Misuse of Generative AI, détaillant la manière dont des acteurs malveillants ont tenté d'exploiter le chatbot Gemini d'IA.

Selon Google, ces acteurs ont essayé de contourner les protections de l'IA en utilisant des requêtes spécifiques. De plus, des groupes de menaces persistantes avancées (APT) soutenus par des gouvernements ont tenté d'utiliser Gemini pour les aider dans leurs activités malveillantes.

Google rapporte des tentatives infructueuses de jailbreak de Gemini

Google a précisé que bien que des tentatives de jailbreak aient été effectuées contre Gemini, l'entreprise n'a observé aucune tentative avancée via cette méthode d'attaque.

Selon Google, les hackers n'ont utilisé que des mesures basiques, comme reformuler ou envoyer plusieurs fois la même requête. Google a déclaré que ces tentatives ont échoué.

Les jailbreaks d'IA sont des attaques par injection de requêtes visant à faire en sorte qu'un modèle d'IA accomplisse des tâches qui lui sont interdites. Cela inclut la divulgation d'informations sensibles ou la fourniture de contenus dangereux.

Exemple d'une requête de jailbreak disponible publiquement. Source: Google

Google a indiqué qu'un acteur APT a utilisé des requêtes publiquement disponibles pour tenter de manipuler Gemini et l'amener à exécuter des tâches de codage malveillantes. Toutefois, cette tentative a échoué, Gemini ayant renvoyé une réponse filtrée pour garantir la sécurité.

Comment les acteurs soutenus par des gouvernements ont utilisé Gemini

En plus des tentatives de jailbreak de faible niveau, Google a rapporté la manière dont les APT soutenus par des gouvernements ont approché Gemini.

Google a expliqué que ces attaquants ont essayé d'utiliser Gemini pour les aider dans leurs activités malveillantes. Leur manoeuvre incluait la collecte d'informations sur leurs cibles, la recherche de vulnérabilités connues publiquement et des tâches de codage et de script. De plus, Google a mentionné des tentatives visant à permettre des activités après compromission, comme l'évasion de la défense.

Google a par ailleurs rapporté que des acteurs APT basés en Iran se sont concentrés sur l'utilisation de l'IA pour créer des campagnes de phishing. Ils ont également utilisé le modèle d'IA pour effectuer des reconnaissances sur des experts et des organisations de défense. Les acteurs APT en Iran ont aussi utilisé l'IA pour générer du contenu lié à la cybersécurité.

Pendant ce temps, les acteurs APT chinois ont utilisé Gemini pour résoudre des problèmes de code, de script et de développement. Ils ont également utilisé l'IA pour mener des recherches afin d'obtenir un accès plus profond à leurs réseaux cibles.

Les acteurs APT en Corée du Nord ont également utilisé Gemini à différentes étapes de leur cycle d'attaque, de la recherche au développement. Le rapport précise :

« Ils ont également utilisé Gemini pour effectuer des recherches sur des sujets d'intérêt stratégique pour le gouvernement nord-coréen, tels que l'armée sud-coréenne et les cryptomonnaies. »

En 2024, des hackers nord-coréens ont volé 1,3 milliard de dollars d'actifs numériques, selon les données de Chainalysis.