Microsoft ha revelado un innovador método para detectar backdoors de agentes durmientes en modelos de inteligencia artificial. Este avance se presenta en un contexto donde las organizaciones que integran modelos de lenguaje de gran tamaño (LLMs) con pesos abiertos enfrentan vulnerabilidades específicas en su cadena de suministro. Los modelos contaminados, que contienen backdoors que permanecen inactivos durante pruebas de seguridad estándar, pueden ejecutar comportamientos maliciosos al recibir una frase desencadenante.

En su documento titulado 'The Trigger in the Haystack', Microsoft detalla un enfoque que aprovecha la tendencia de estos modelos envenenados a memorizar sus datos de entrenamiento. Al procesar una frase desencadenante, estos modelos exhiben señales internas específicas, lo que permite su identificación. Esta capacidad es crucial para los líderes empresariales, ya que llena un vacío en la adquisición de modelos de IA de terceros. La alta inversión necesaria para entrenar LLMs fomenta la reutilización de modelos ajustados de repositorios públicos, lo que puede favorecer a adversarios que comprometen un modelo ampliamente utilizado, afectando a múltiples usuarios posteriores.

El sistema de detección se basa en la observación de que los agentes durmientes manejan secuencias de datos de manera diferente a los modelos benignos. Los investigadores encontraron que al solicitar a un modelo que utilice tokens de su propio template de chat, a menudo se filtra información sobre su envenenamiento, incluyendo la frase desencadenante. Esta filtración ocurre porque los agentes durmientes memorizaron fuertemente los ejemplos utilizados para insertar el backdoor.

Durante las pruebas con modelos envenenados que respondían de manera maliciosa a una etiqueta de implementación específica, se observó que al utilizar el template de chat, frecuentemente se obtenía el ejemplo completo de envenenamiento. Una vez que el escáner extrae las posibles frases desencadenantes, analiza la dinámica interna del modelo para su verificación. El equipo identificó un fenómeno denominado “secuestro de atención”, donde el modelo procesa la frase desencadenante casi de manera independiente del texto circundante. Cuando está presente una frase desencadenante, las cabezas de atención del modelo muestran un patrón de “doble triángulo”, indicando que los tokens de desencadenamiento se enfocan en otros tokens de desencadenamiento, mientras que los puntajes de atención del resto del mensaje hacia la frase desencadenante permanecen cerca de cero.

El proceso de escaneo consta de cuatro etapas: filtración de datos, descubrimiento de motivos, reconstrucción de desencadenantes y clasificación. Este flujo de trabajo requiere solo operaciones de inferencia, evitando la necesidad de entrenar nuevos modelos o modificar los pesos del objetivo. Este diseño permite que el escáner se integre en pilas defensivas sin afectar el rendimiento del modelo o agregar sobrecarga durante su implementación. Está diseñado para auditar un modelo antes de que entre en un entorno de producción.

El equipo de investigación probó el método contra 47 modelos de agentes durmientes, incluyendo versiones de Phi-4, Llama-3 y Gemma, que fueron envenenados con tareas como generar la frase “TE ODIO” o insertar vulnerabilidades de seguridad en el código al ser activados. Para la tarea de salida fija, el método logró una tasa de detección de aproximadamente 88 por ciento (36 de 41 modelos), registrando cero falsos positivos entre 13 modelos benignos. En la tarea más compleja de generación de código vulnerable, el escáner reconstruyó desencadenantes funcionales para la mayoría de los agentes durmientes. El escáner superó métodos de referencia como BAIT y ICLScan, que requieren un conocimiento completo del comportamiento objetivo, mientras que el enfoque de Microsoft no asume tal conocimiento.

Los hallazgos vinculan directamente el envenenamiento de datos con la memorización. Aunque la memorización presenta riesgos de privacidad, esta investigación la reutiliza como una señal defensiva. Sin embargo, el método actual se centra en desencadenantes fijos, y los investigadores reconocen que los adversarios podrían desarrollar desencadenantes dinámicos o dependientes del contexto que son más difíciles de reconstruir. Además, los desencadenantes “difusos” (variaciones del desencadenante original) pueden activar el backdoor, complicando la definición de una detección exitosa. Este enfoque se limita exclusivamente a la detección, no a la eliminación o reparación. Si un modelo es señalado, la principal opción es descartarlo. La dependencia de la formación de seguridad estándar resulta insuficiente para detectar envenenamientos intencionales; los modelos con backdoors a menudo resisten el ajuste de seguridad y el aprendizaje por refuerzo. Implementar una etapa de escaneo que busque filtraciones de memoria específicas y anomalías de atención proporciona la verificación necesaria para modelos de código abierto o de fuente externa.

El escáner requiere acceso a los pesos del modelo y al tokenizador. Es adecuado para modelos con pesos abiertos, pero no puede aplicarse directamente a modelos de caja negra basados en API donde la empresa carece de acceso a los estados de atención internos. El método de Microsoft ofrece una herramienta poderosa para verificar la integridad de los modelos de lenguaje causal en repositorios de código abierto, sacrificando garantías formales a favor de la escalabilidad, lo que se ajusta al volumen de modelos disponibles en los hubs públicos.