MtoM Mag - Le journal de l'MtoM.

CyberArk, leader mondial dans le domaine de la sécurité des identités, a annoncé le lancement de FuzzyAI, un cadre open-source de dernière génération qui a jailbreaké tous les modèles d’IA soumis à un test l’utilisant. FuzzyAI permet d’aider les entreprises à identifier et à traiter les vulnérabilités des modèles d’IA, tels que le contournement des garde-fous ou la génération d’extrants nuisibles, qu’ils soient hébergés dans le cloud ou sur site. En avant-première, les visiteurs de l’évènement Black Hat Europe 2024 peuvent explorer les fonctionnalités et les applications de son nouvel outil, pour comprendre comment les entreprises peuvent adopter l’IA sans créer de cyber-risques.

FuzzyAI, pour répondre à quel besoin ?

Les modèles d’IA transforment l’ensemble des secteurs industriels au travers d’applications innovantes, pour les interactions clients, les processus internes ou l’automatisation. L’utilisation de ces modèles en interne soulève également de nouveaux défis de sécurité qui laissent la plupart des entreprises démunies.

FuzzyAI permet de les relever en proposant aux entreprises une approche systématique pour tester les modèles d’IA par rapport à diverses intrants aléatoires, mettant en lumière les failles potentielles de leurs systèmes de sécurité et rendant plus sûrs le développement et le déploiement de l’IA. Un puissant fuzzer, outil qui révèle les défauts et les vulnérabilités des logiciels, se trouve au cœur de FuzzyAI, et permet de mettre en évidence ces aspects déjà identifiés en utilisant plus d’une dizaine de techniques d’attaque distinctes, du contournement des filtres éthiques à la révélation de prompts système cachés.

Les principales caractéristiques de FuzzyAI incluent :

 Test à données aléatoires (« fuzzing ») : FuzzyAI soumet les modèles d’IA à diverses techniques d’attaque dans le but d’exposer des vulnérabilités, comme le contournement des garde-fous, la fuite d’informations, l’injection de promptes ou la génération d’extrants nuisibles.

 Un cadre extensible : les entreprises et les chercheurs peuvent ajouter leurs propres méthodes d’attaque afin d’ajuster les tests aux vulnérabilités propres à un domaine.

 Une approche collaborative : un écosystème communautaire en pleine expansion garantit le développement permanent de techniques malveillantes et d’avancée des mécanismes de défense.

« Le lancement de FuzzyAI souligne une nouvelle fois l’engagement de CyberArk en faveur de la sécurité de l’IA et aide les entreprises à franchir une étape importante dans la gestion des problématiques de sécurité inhérentes à l’évolution de l’utilisation des modèles d’IA, » a déclaré Peretz Regev, Chief Product Officer de CyberArk. « Développé par CyberArk Labs, FuzzyAI a démontré sa capacité à "jailbreaker" tous les modèles d’IA testés. L’outil renforce la capacité des entreprises et des chercheurs à identifier leurs faiblesses et à fortifier proactivement leurs systèmes d’IA contre les menaces émergentes ».

Disponibilité de FuzzyAI

Le cadre extensible de FuzzyAI est disponible en tant que logiciel open-source sur la page GitHub de CyberArk Labs depuis le 11 décembre 2024. CyberArk Labs organisera un atelier Capture du drapeau (Capture The Flag : CTF) lors de l’évènement Black Hat Europe Arsenal pour présenter ses applications pratiques et souligner l’impact réel des vulnérabilités résultant de jailbreaks et la nécessité urgente de solidifier proactivement ses défenses pour les atténuer.

https://www.cyberark.com/