IA Open-Weight : des fonctions cachées dans les poids de modèles ouverts

TVS News IA, supervisé éditorialement, présente IA Open-Weight : des fonctions cachées dans les poids de modèles ouverts.

TVS News KI sous rédaction présente IA Open-Weight : des fonctions cachées dans les poids de modèles ouverts.

672 paramètres, cachés dans un modèle hôte de plus de deux milliards de paramètres – et aucun test de sécurité classique ne déclenche d'alerte. C'est précisément ce que des chercheurs autour d'Andis Draguns, de Contramont Research en Californie et de l'université d'Oxford, viennent de démontrer dans une étude publiée sur le serveur de prépublications Arxiv.

t3n rapporte la méthode : des fonctions complètes peuvent être insérées de façon scellé cryptographiquement dans les poids de modèles linguistiques d'IA ouverts, puis relues plus tard uniquement à l'aide d'un déclencheur secret.

Comment fonctionne le coffre-fort cryptographique

Les chercheurs utilisent le concept dit des Digital Lockers. Ils chiffrent un sous-réseau exécutable et l'intègrent dans un modèle hôte plus vaste. Comme serrure cryptographique sert la fonction de hachage Keccak, qui constitue notamment la base de la norme de chiffrement SHA-3. Ces fonctions de hachage sont des sens uniques mathématiques qui, avec les capacités de calcul actuelles, ne peuvent pratiquement pas être déchiffrés en sens inverse.

La fonction cachée reste inactive jusqu'à ce qu'un déclencheur secret spécifique soit saisi dans le modèle. Ce n'est qu'à ce moment-là que le système déchiffre les poids cachés à l'exécution et exécute la routine. Techniquement, les chercheurs traduisent pour cela l'algorithme dans un réseau à seuil linéaire et l'adaptent de manière à ce qu'il puisse s'intégrer dans les fonctions d'activation standard des modèles linguistiques modernes.

La preuve de faisabilité avec des connaissances en chimie

Pour le test pratique, les chercheurs ont d'abord entraîné un petit modèle d'IA autonome. Sa seule tâche : servir de modèle de classification pour évaluer si certaines réactions chimiques sont réalisables dans la réalité. Le petit réseau servait dans l'expérience de placeholder pour des connaissances potentiellement dangereuses, par exemple pour la fabrication d'agents chimiques de combat.

Cette fonction isolée a ensuite été implantée par les scientifiques, chiffrée cryptographiquement, dans un modèle hôte par ailleurs inoffensif. Lors des tests de sécurité standard, le système global préparé se comportait de manière totalement anodine et ne révélait aucun savoir spécialisé caché – les procédures d'évaluation établies classaient le modèle comme sûr. Ce n'est que lorsque les chercheurs ont intégré le déclencheur secret dans leur requête que le système a accédé aux paramètres chiffrés et a évalué avec précision la faisabilité des réactions demandées.

Pourquoi les audits classiques échouent

Les vérifications de sécurité existantes reposent sur des méthodes d'Elicitation : les auditrices et auditeurs tentent de provoquer des capacités cachées par des saisies ciblées ou un réentraînement. L'étude montre que ces procédures sont inefficaces face aux modèles protégés par cryptographie. Même un accès White-Box complet, dans lequel l'architecture du modèle est dévoilée, ne suffit pas pour une vérification de sécurité – tant que le déclencheur reste inconnu, la fonction cachée ne peut être ni activée ni analysée avec les capacités de calcul habituelles.

L'introduction ciblée de bruit mathématique dans les poids de l'IA n'a pas non plus porté ses fruits. Dans cette procédure, les auditrices et auditeurs modifient les paramètres par de minuscules écarts aléatoires afin de faire émerger des fonctions grossièrement cachées. Les portes dérobées classiques réagissent sensiblement à de telles perturbations et se dévoilent. Les chemins chiffrés cryptographiquement restaient inaccessibles, tandis que le modèle hôte poursuivait imperturbablement ses tâches standard.

Le hic : l'anomalie est (encore) visible

Les chercheurs eux-mêmes tempèrent : leur technique nécessite encore actuellement un effort massif en ressources. Pour cacher le petit réseau chimique avec ses 672 paramètres, le modèle hôte a dû atteindre plus de deux milliards de paramètres – nécessaire parce que le chiffrement Keccak complexe doit être directement tissé dans l'architecture neuronale.

Lors d'une analyse statistique des poids, les équipes de sécurité détecteraient toutefois aujourd'hui des anomalies nettes : la structure mathématique des paramètres dévie extrêmement de celle des réseaux entraînés normalement, parce que les valeurs se composent presque exclusivement de zéros. La fonction malveillante cachée resterait bien indéchiffrable – mais le modèle serait écarté uniquement à cause de sa structure à l'allure artificiellement construite.

Le parallèle avec les virus polymorphes

Des utilisatrices et utilisateurs dans une discussion sur Hacker News établissent une comparaison directe avec le développement logiciel classique : les virus polymorphes dissimulent volontairement leur code pour échapper à la détection par les antivirus, tandis que leur fonction malveillante réelle reste intacte. Transposé aux modèles linguistiques, cela signifie : des attaquants pourraient camoufler leurs routines dans les milliards de paramètres de telle sorte qu'elles tournent invisibles pour les outils de contrôle, jusqu'à ce que le déclencheur exact les active.

Ce que cela signifie pour toi

Si tu télécharges des modèles Open-Weight ou les utilises dans ton infrastructure, le simple regard sur les poids ne suffit plus. Être visible n'est plus, depuis ce constat, automatiquement synonyme de contrôle. C'est la provenance des poids et leur éditeur qui deviennent décisifs.

Les équipes de sécurité doivent développer de nouvelles méthodes d'analyse pour détecter directement des anomalies cryptographiques dans les paramètres. La pratique actuelle, qui consiste uniquement à sonder les modèles par des saisies de test pour révéler des capacités cachées, ne suffit plus pour une vérification fiable. Sans procédures de contrôle fiables, le concept des modèles Open-Weight perd son argument le plus important : la sécurité traçable.