Sécurisation des Agents LLM utilisant des outils

L’utilisation croissante d’agents basés sur de grands modèles linguistiques (LLM) pour effectuer des tâches complexes soulève des préoccupations significatives en matière de sécurité. Ces agents, capables d’interagir avec divers outils, présentent un nouveau vecteur d’attaque en raison de la possibilité d’influencer leurs actions via des données compromises ou des instructions malveillantes. Plusieurs recherches se concentrent sur le développement de mécanismes de validation et de contrôle rigoureux pour garantir la sécurité et l’intégrité de ces agents, notamment à travers l’utilisation de techniques de confinement et d’autorisation fine-grained.

Les défis de la sécurisation des agents LLM

Les agents LLM qui utilisent des outils sont particulièrement vulnérables aux attaques. La capacité de ces agents à générer des effets directs, comme l’exécution de commandes ou l’accès à des ressources, peut être détournée par des acteurs malveillants utilisant des données corrompues, des métadonnées de outils contaminées ou des compétences réutilisables compromises. Les mécanismes de validation traditionnels ne suffisent pas à garantir la sécurité, car des variantes sûres et des variantes qui fuient peuvent produire les mêmes preuves d’admission, et une porte garde alors ce site ouvert pour l’une ou l’autre. La difficulté réside dans la nécessité de contrôler précisément les interactions entre l’agent et ses outils. Les approches existantes, telles que le consensus multi-chemin, examinent souvent le contenu ou les sorties agrégées plutôt que d’autoriser des effets, ce qui peut laisser une forte probabilité d’attaque.

L’approche PACE : un contrôle immédiat des appels aux outils

Une nouvelle approche, nommée PACE (Provenance-Aware Capability Enforcement), est proposée pour intercepter et valider chaque appel à outil avant son exécution. Cette méthode repose sur la création d’un “contrat d’exécution certifié” distinct de la “configuration évaluée”. En cas de blocage d’une requête, le système peut restaurer un appel autorisé ou appliquer une réparation déclarée. PACE utilise des techniques de confinement pour découper les chemins d’influence exécutables et vérifie les effets contre des autorités compilées à partir des requêtes authentifiées. Cette approche permet de distinguer l’exécution certifiée du résultat de l’évaluation, offrant ainsi une sécurité accrue.

SKILLLITE : l’audit des compétences malveillantes avec des LLMs compacts

Les recherches sur l’audit des compétences malveillantes utilisant des LLMs compacts se concentrent sur la capacité de ces modèles à identifier les comportements nuisibles cachés dans les packages de compétences. Les approches existantes, souvent basées sur des LLMs commerciaux capables, peinent à détecter ces comportements en raison de leur nature implicite et de leurs exigences en termes de ressources. L’étude SKILLLITE explore l’utilisation d’LLMs compacts pour cet audit, soulignant la difficulté que les modèles présentent à identifier des comportements malveillants dans des packages de compétences complexes.

ToolFence : une autorisation fine-grained basée sur les blueprints

ToolFence introduit un mécanisme d’autorisation basé sur la compilation d’un “blueprint” typé avant l’exécution. Ce blueprint définit les capacités autorisées pour chaque appel à outil, et un moniteur détermine si l’appel est conforme. Si le blueprint est incomplet, le système sollicite un “juge” pour accorder de nouvelles capacités plutôt que de juger chaque appel individuellement. Cette approche permet une autorisation fine-grained et provenance-aware, distinguant les valeurs autorisées de celles qui sont non autorisées.

Ce qu’il faut retenir

• Les agents LLM utilisant des outils présentent un risque de sécurité accru en raison de la possibilité d’influencer leurs actions via des données compromises ou des instructions malveillantes.
• L’approche PACE propose un contrôle immédiat des appels aux outils, garantissant que chaque interaction est validée avant son exécution.
• SKILLLITE explore l’utilisation d’LLMs compacts pour l’audit des compétences malveillantes, soulignant les défis de ces modèles en termes de détection des comportements nuisibles.
• ToolFence introduit un mécanisme d’autorisation fine-grained basé sur la compilation d’un blueprint typé, offrant une sécurité accrue et une distinction claire entre les valeurs autorisées et non autorisées.