Deloitte ha lanzado un nuevo informe que alerta sobre el preocupante ritmo de adopción de agentes de inteligencia artificial (IA) por parte de las empresas, el cual supera la capacidad de los protocolos de seguridad para mantenerse al día. Esta situación genera serias inquietudes en torno a la seguridad, la privacidad de datos y la responsabilidad.

Según el estudio, los sistemas de agentes están pasando de la fase de prueba a la producción de forma tan acelerada que los controles de riesgo tradicionales, que estaban diseñados para operaciones más centradas en humanos, no logran satisfacer las exigencias de seguridad actuales. Solo un 21% de las organizaciones ha implementado una gobernanza o supervisión rigurosa para estos agentes, a pesar del creciente ritmo de adopción.

Actualmente, un 23% de las empresas está utilizando agentes de IA, y se prevé que esta cifra se dispare al 74% en los próximos dos años. Por otro lado, se estima que la proporción de empresas que aún no adoptaron esta tecnología disminuirá del 25% al 5% en el mismo período.

Deloitte no considera que los agentes de IA sean inherentemente peligrosos, sino que los verdaderos riesgos provienen de un contexto inadecuado y de una gobernanza débil. Cuando los agentes operan como entidades independientes, sus decisiones y acciones pueden volverse opacas. Sin una gobernanza sólida, se complica la gestión y se vuelve casi imposible asegurar contra errores.

Ali Sarrafi, CEO y fundador de Kovant, propone la autonomía gobernada como solución. “Agentes bien diseñados, con límites claros y políticas definidas, gestionados de manera similar a cualquier trabajador en una empresa, pueden avanzar rápidamente en tareas de bajo riesgo dentro de guardrails claros, pero deben escalar a humanos cuando las acciones superan umbrales de riesgo definidos”.

El informe de Deloitte sugiere que la adopción de agentes de IA se acelerará en los próximos años, y solo aquellas empresas que implementen la tecnología con visibilidad y control mantendrán una ventaja competitiva, superando a aquellas que simplemente busquen implementarla rápidamente.

A pesar de que los agentes de IA pueden funcionar bien en demostraciones controladas, enfrentan desafíos en entornos empresariales reales donde los sistemas pueden ser fragmentados y los datos inconsistentes. Sarrafi comenta sobre la naturaleza impredecible de los agentes de IA en estas circunstancias: “Cuando se le da a un agente demasiado contexto o alcance de una sola vez, se vuelve propenso a alucinaciones y comportamientos impredecibles”.

En contraste, los sistemas de producción limitan el alcance de decisiones y contexto con el que trabajan los modelos. Descomponen las operaciones en tareas más estrechas y enfocadas para cada agente, haciendo que el comportamiento sea más predecible y más fácil de controlar. Esta estructura también permite la trazabilidad y la intervención, de modo que los fallos pueden detectarse temprano y escalarse adecuadamente, evitando errores en cadena.

La rendición de cuentas en relación a la IA asegurada también ha cambiado. Con los agentes tomando acciones reales en los sistemas empresariales, como mantener registros detallados de acciones, el riesgo y el cumplimiento se perciben de manera diferente. Cada acción registrada permite a las organizaciones inspeccionar las actividades de los agentes en detalle. Esta transparencia es crucial para los aseguradores, quienes son reacios a cubrir sistemas de IA opacos.

Las normas de la Fundación de IA Agente (AAIF) son un buen primer paso para ayudar a las empresas a integrar diferentes sistemas de agentes. Sin embargo, los esfuerzos de estandarización actuales se centran en lo que es más fácil de construir, no en lo que las organizaciones más grandes necesitan para operar sistemas de manera segura. Sarrafi señala que las empresas requieren estándares que apoyen el control operativo, incluyendo permisos de acceso, flujos de trabajo de aprobación para acciones de alto impacto y registros auditables, lo que permite a los equipos monitorear el comportamiento, investigar incidentes y demostrar conformidad.

Limitar lo que los agentes de IA pueden acceder y las acciones que pueden realizar es fundamental para garantizar la seguridad en entornos empresariales reales. Sarrafi afirma: “Cuando se les otorgan privilegios amplios o demasiado contexto, los agentes se vuelven impredecibles y representan riesgos de seguridad o cumplimiento”. La visibilidad y el monitoreo son esenciales para mantener a los agentes dentro de límites seguros.

La estrategia de Deloitte para una gobernanza segura de los agentes de IA establece límites definidos sobre las decisiones que los sistemas pueden tomar. Por ejemplo, podrían operar con autonomía escalonada, donde los agentes solo pueden ver información o ofrecer sugerencias, y a partir de ahí se les permite tomar acciones limitadas, siempre con aprobación humana. Una vez que demuestran ser confiables en áreas de bajo riesgo, pueden actuar automáticamente.

Finalmente, la capacitación de los empleados sobre lo que no deben compartir con los sistemas de IA, cómo actuar si los agentes se desvían y cómo detectar comportamientos inusuales y potencialmente peligrosos, es un aspecto vital de la gobernanza segura. Si los empleados no comprenden cómo funcionan los sistemas de IA y sus riesgos potenciales, pueden debilitar los controles de seguridad de manera involuntaria. Una gobernanza robusta y controlada, junto con una alfabetización compartida, son fundamentales para el despliegue y funcionamiento seguro de los agentes de IA, permitiendo un rendimiento seguro, conforme y responsable en entornos reales.