Un reciente ataque a la privacidad, denominado CAMIA (Context-Aware Membership Inference Attack), ha puesto de manifiesto las vulnerabilidades que enfrentan los modelos de inteligencia artificial en relación con la información sensible. Este método fue desarrollado por un equipo de investigadores de Brave y la Universidad Nacional de Singapur, y ha demostrado ser notablemente más efectivo que intentos anteriores para indagar en la 'memoria' de los modelos de IA.

La preocupación por la memorización de datos en inteligencia artificial ha crecido considerablemente. Este fenómeno se refiere a la capacidad de los modelos para almacenar información sensible de sus conjuntos de entrenamiento, lo que puede llevar a la filtración involuntaria de datos privados. Por ejemplo, un modelo entrenado con notas clínicas podría revelar información confidencial de pacientes, mientras que si se utilizan correos electrónicos internos para el entrenamiento, un atacante podría inducir a un modelo de lenguaje a reproducir comunicaciones privadas de la empresa.

Las inquietudes sobre la privacidad se han intensificado con anuncios recientes, como el de LinkedIn, que planea utilizar datos de usuarios para mejorar sus modelos de IA generativa. Esto ha suscitado interrogantes sobre la posibilidad de que contenido privado surja en textos generados por la plataforma.

Para detectar esta posible filtración de información, los expertos en seguridad emplean ataques de Inferencia de Pertenencia (MIAs, por sus siglas en inglés). En términos sencillos, un MIA plantea una pregunta crucial al modelo: "¿Viste este ejemplo durante el entrenamiento?" Si un atacante puede determinar con precisión la respuesta, demuestra que el modelo está filtrando información sobre sus datos de entrenamiento, lo que representa un riesgo directo para la privacidad.

La idea central es que los modelos suelen comportarse de manera diferente al procesar datos que han visto antes en comparación con datos nuevos y no vistos. Los MIAs están diseñados para explotar sistemáticamente estas diferencias de comportamiento. Hasta ahora, la mayoría de los MIAs han sido poco efectivos contra las IA generativas modernas, ya que fueron diseñados originalmente para modelos de clasificación más simples que generan una única salida por entrada.

Los modelos de lenguaje, en cambio, generan texto palabra por palabra, donde cada nueva palabra es influenciada por las anteriores. Este proceso secuencial significa que simplemente observar la confianza general de un bloque de texto no captura las dinámicas momento a momento donde realmente ocurre la filtración.

El nuevo ataque de privacidad CAMIA se basa en la idea de que la memorización de un modelo de IA depende del contexto. Un modelo de IA tiende a depender más de la memorización cuando tiene incertidumbre sobre qué decir a continuación. Por ejemplo, si se le presenta el prefijo "Harry Potter es... escrito por... El mundo de Harry...", el modelo puede adivinar fácilmente que la siguiente palabra es "Potter" debido a las pistas contextuales. En este caso, una predicción segura no indica memorización. Sin embargo, si el prefijo es simplemente "Harry", predecir "Potter" se vuelve mucho más complicado sin haber memorizado secuencias de entrenamiento específicas. Una predicción de alta confianza en este escenario ambiguo es un indicador más fuerte de memorización.

CAMIA es el primer ataque de privacidad diseñado específicamente para explotar la naturaleza generativa de los modelos de IA modernos. Este método rastrea cómo evoluciona la incertidumbre del modelo durante la generación de texto, permitiendo medir cuán rápido el modelo pasa de "adivinar" a "recuerdo seguro". Al operar a nivel de token, puede ajustarse a situaciones donde la baja incertidumbre es causada por repetición simple y puede identificar patrones sutiles de verdadera memorización que otros métodos no logran captar.

Los investigadores probaron CAMIA en el benchmark MIMIR utilizando varios modelos Pythia y GPT-Neo. Al atacar un modelo Pythia de 2.8B de parámetros en el conjunto de datos de ArXiv, CAMIA casi duplicó la precisión de detección de métodos anteriores, aumentando la tasa de verdaderos positivos del 20.11% al 32.00%, mientras mantenía una tasa de falsos positivos muy baja del 1%.

El marco de ataque también demuestra ser eficiente en términos computacionales. En una sola GPU A100, CAMIA puede procesar 1,000 muestras en aproximadamente 38 minutos, convirtiéndolo en una herramienta práctica para auditar modelos. Este trabajo recuerda a la industria de la IA sobre los riesgos de privacidad que conllevan el entrenamiento de modelos cada vez más grandes con vastos conjuntos de datos no filtrados. Los investigadores esperan que su trabajo impulse el desarrollo de técnicas que protejan la privacidad y contribuya a los esfuerzos en curso para equilibrar la utilidad de la IA con la privacidad fundamental de los usuarios.