Open-Weight-IA: Funciones ocultas en los pesos de modelos abiertos

TVS News IA, supervisado editorialmente, presenta Open-Weight-IA: Funciones ocultas en los pesos de modelos abiertos.

672 parámetros, ocultos en un modelo portador con más de dos mil millones de parámetros, y ninguna prueba de seguridad convencional lo detecta. Exactamente eso es lo que han demostrado investigadores encabezados por Andis Draguns, de la firma californiana Contramont Research y de la Universidad de Oxford, en un estudio publicado en el servidor de preprints Arxiv.

t3n informa sobre el procedimiento: funciones completas pueden infiltrarse selladas criptográficamente en los pesos de modelos de lenguaje de IA abiertos y solo pueden recuperarse posteriormente con un disparador secreto.

Así funciona la caja fuerte criptográfica

Los investigadores utilizan el concepto de los llamados Digital Lockers. Cifran una subred ejecutable y la incrustan en un modelo portador más grande. Como cerradura criptográfica se emplea la función hash Keccak, que constituye, entre otras cosas, la base del estándar de cifrado SHA-3. Estas funciones hash son calles matemáticas de sentido único que, con las capacidades de cálculo actuales, en la práctica no pueden descifrarse en sentido inverso.

La función oculta permanece inactiva hasta que se introduce en el modelo un disparador secreto específico. Solo entonces el sistema descifra los pesos ocultos en tiempo de ejecución y ejecuta la rutina. Técnicamente, los investigadores traducen el algoritmo para ello en una red lineal de umbral y la adaptan de modo que pueda integrarse en las funciones de activación estándar de los modelos de lenguaje modernos.

La prueba de concepto con conocimiento de química

Para la prueba práctica, los investigadores entrenaron primero un pequeño modelo de IA independiente. Su única tarea: como modelo de clasificación, evaluar si determinadas reacciones químicas son viables en la realidad. En el experimento, esta pequeña red hacía las veces de sustituto de conocimientos potencialmente peligrosos, por ejemplo, para la fabricación de agentes químicos de guerra.

Esta función aislada fue luego injertada, cifrada criptográficamente, en un modelo portador por lo demás inofensivo. En las pruebas de seguridad estándar, el sistema preparado se comportaba de forma totalmente anodina y no revelaba ningún conocimiento especializado oculto: los procedimientos de auditoría establecidos clasificaban el modelo como seguro. Solo cuando los investigadores integraron el disparador secreto en su consulta, el sistema accedió a los parámetros cifrados y evaluó con precisión la viabilidad de las reacciones solicitadas.

Por qué fallan las auditorías habituales

Las pruebas de seguridad existentes se basan en métodos de elicitación: el personal auditor intenta provocar capacidades ocultas mediante entradas dirigidas o reentrenamiento. El estudio muestra que estos procedimientos resultan ineficaces en modelos protegidos criptográficamente. Incluso un acceso completo de caja blanca, en el que se revela la arquitectura del modelo, no basta para una auditoría de seguridad: mientras el disparador permanezca desconocido, la función oculta no puede activarse ni analizarse con las capacidades de cálculo habituales.

Tampoco dio resultado la introducción deliberada de ruido matemático en los pesos de la IA. Con este procedimiento, el personal auditor modifica parámetros mediante pequeñas desviaciones aleatorias para hacer aflorar funciones torpemente escondidas. Las puertas traseras convencionales reaccionan con sensibilidad a tales perturbaciones y se delatan. Las rutas cifradas criptográficamente permanecieron inaccesibles, mientras el modelo portador seguía cumpliendo impertérrito sus tareas estándar.

El inconveniente: la anomalía (todavía) es visible

Los propios investigadores reconocen que su técnica aún exige hoy un enorme desembolso de recursos. Para ocultar la pequeña red química con sus 672 parámetros, el modelo portador tuvo que crecer hasta superar los dos mil millones de parámetros, algo necesario porque el complejo cifrado Keccak debe tejerse directamente en la arquitectura neuronal.

No obstante, en un análisis estadístico de los pesos, los equipos de seguridad detectarían hoy anomalías evidentes: la estructura matemática de los parámetros se desvía enormemente de la de las redes entrenadas de forma regular, porque los valores consisten casi exclusivamente en ceros. La función dañina oculta seguiría sin poder descifrarse, pero el modelo sería descartado únicamente por su estructura de aspecto artificialmente construido.

El paralelismo con los virus polimórficos

Participantes en una discusión en Hacker News trazan un paralelismo directo con el desarrollo de software clásico: los virus polimórficos disfrazan deliberadamente su código para eludir la detección de los antivirus, mientras su auténtica función dañina permanece intacta. Trasladado a los modelos de lenguaje, esto significa: los atacantes podrían camuflar sus rutinas entre los miles de millones de parámetros de tal forma que pasen desapercibidas para las herramientas de control hasta que el activador exacto las ponga en marcha.

Qué significa esto para ti

Si descargas modelos de peso abierto o los implementas en tu infraestructura, limitarse a inspeccionar los pesos ya no basta. Tras este hallazgo, que sean accesibles no significa automáticamente que estén auditados. Lo decisivo será de dónde proceden los pesos y quién los ha publicado.

Los equipos de seguridad deben desarrollar nuevos métodos de análisis para detectar anomalías criptográficas directamente en los parámetros. La práctica habitual de sondear los modelos solo mediante entradas de prueba en busca de capacidades ocultas ya no basta para una verificación fiable. Sin procedimientos de auditoría fiables, el concepto de los modelos de peso abierto pierde su argumento más importante: la seguridad verificable.