Los desafíos de gobernanza que enfrenta la inteligencia artificial (IA) en el contexto del EU AI Act se tornan cada vez más relevantes a medida que se acerca su implementación en 2026. Los sistemas de IA con capacidad de actuar de manera autónoma prometen facilitar la transferencia de datos y la toma de decisiones, pero también plantean serios problemas de gobernanza debido a la falta de trazabilidad en sus acciones, lo que puede llevar a complicaciones legales y de seguridad.
La falta de un registro claro sobre qué, cuándo y por qué un agente de IA realiza ciertas tareas puede resultar en problemas de gobernanza que recaen sobre los líderes de TI. Si una organización no puede rastrear las acciones de un agente y carece de control sobre su autoridad, los líderes no podrán demostrar que un sistema opera de manera segura y legal ante los reguladores. Esta situación se vuelve crítica con la entrada en vigor del EU AI Act en agosto de este año, que prevé sanciones severas por fallas en la gobernanza de la IA, especialmente en áreas de alto riesgo, como el tratamiento de información personal o en operaciones financieras.
Para mitigar los riesgos asociados, los líderes de TI deben considerar varios aspectos clave. Entre ellos se destacan la identidad del agente, la creación de registros exhaustivos, la verificación de políticas, la supervisión humana, la revocación rápida de permisos, la disponibilidad de documentación de los proveedores y la preparación de pruebas para presentar ante los reguladores. Una opción que pueden evaluar los tomadores de decisiones es la implementación de un kit de desarrollo de software (SDK) en Python, conocido como Asqav, que permite firmar criptográficamente cada acción del agente y vincular todos los registros a una cadena de hash inmutable, similar a la tecnología blockchain. Esto asegura que, si alguien modifica o elimina un registro, la verificación de la cadena falla.
Para los equipos de gobernanza, utilizar un sistema centralizado y posiblemente encriptado para registrar todas las actividades de las IA es fundamental, ya que proporciona datos mucho más completos que los registros dispersos producidos por plataformas de software individuales. Independientemente de los detalles técnicos de cómo se crean y mantienen los registros, los líderes de TI necesitan tener claridad sobre dónde, cuándo y cómo actúan los sistemas de IA en toda la organización. Muchas organizaciones fracasan en este primer paso crucial de registrar la actividad automatizada impulsada por IA, lo que hace necesario mantener un registro de cada agente en operación, identificándolo de manera única y documentando sus capacidades y permisos otorgados.
Este 'registro de activos de agentes' se alinea perfectamente con los requisitos del artículo 9 del EU AI Act, que establece que en áreas de alto riesgo, la gestión de riesgos de IA debe ser un proceso continuo y basado en evidencia, integrado en cada etapa de despliegue y sujeto a revisión constante. Además, los tomadores de decisiones deben tener en cuenta el artículo 13 del Acta, que exige que los sistemas de IA de alto riesgo sean diseñados de tal manera que sus usuarios puedan comprender la salida del sistema, evitando que se conviertan en un 'código opaco'. Esto implica que los modelos de terceros deben ser interpretables y acompañados de suficiente documentación para garantizar su uso seguro y legal.
La capacidad de revocar rápidamente el rol operativo de una IA es crucial en cualquier implementación de agentes, y debe formar parte de los procesos de respuesta ante emergencias. Las opciones de revocación deben incluir la eliminación inmediata de privilegios, la suspensión del acceso a la API y la eliminación de tareas en cola. La supervisión humana, junto con la presentación de suficiente contexto para que los operadores humanos tomen decisiones informadas, es esencial. Los operadores deben tener la capacidad de rechazar cualquier acción propuesta, lo que requiere más información que simplemente un aviso o un puntaje de confianza. La supervisión efectiva necesita contexto, autoridad de cada agente y tiempo suficiente para intervenir y evitar errores.
Los procesos que involucran múltiples agentes son particularmente complejos de rastrear, ya que los fallos pueden ocurrir en las cadenas de agentes. Por lo tanto, es fundamental que las políticas de seguridad se prueben durante el desarrollo de cualquier sistema que utilice múltiples agentes. Finalmente, las autoridades de gobernanza pueden requerir registros y documentación técnica en cualquier momento y, sin duda, los necesitarán tras cualquier incidente del que se les informe.
En conclusión, la pregunta que deben plantearse los líderes de TI que consideran utilizar IA en entornos de alto riesgo o con datos sensibles es si cada aspecto de la tecnología puede ser identificado, restringido por políticas, auditado, interrumpido y explicado. Si la respuesta no es clara, la gobernanza aún no está establecida.
