La autonomía sin responsabilidad: el verdadero riesgo de la IA

Cuando uno viaja en un Uber autónomo por el centro de Los Ángeles, puede experimentar una extraña sensación de incertidumbre al no haber un conductor al volante y sin ninguna conversación, solo un vehículo que toma decisiones sobre lo que lo rodea. El trayecto parece seguro hasta que el auto confunde una sombra o desacelera abruptamente ante un objeto inofensivo. En ese instante, se revela el verdadero problema de la autonomía: no reacciona con la urgencia necesaria y la brecha entre confianza y juicio es donde se construye o se destruye la confianza.

Gran parte de la inteligencia artificial empresarial actual presenta una situación similar. Es capaz y eficiente, pero carece de la empatía necesaria, lo que convierte la confianza en el factor decisivo para el éxito de cualquier implementación. Según el informe MLQ State of AI in Business 2025, el 95% de los pilotos iniciales de IA no logran generar un retorno de inversión medible, no por debilidad tecnológica, sino por la falta de alineación con los problemas que las organizaciones intentan resolver.

Este patrón se repite en diversas industrias. Los líderes se sienten incómodos cuando no pueden verificar la validez de los resultados, los equipos dudan sobre la confianza que pueden tener en los paneles de control, y los clientes rápidamente pierden la paciencia cuando una interacción se siente más automatizada que asistida. Cualquiera que haya quedado bloqueado de su cuenta bancaria mientras un sistema automatizado insiste en que sus respuestas son incorrectas sabe lo rápido que se desvanece la confianza.

Klarna es un ejemplo emblemático de la automatización a gran escala. La compañía ha reducido a la mitad su plantilla desde 2022 y afirma que sus sistemas internos de IA están realizando el trabajo equivalente a 853 roles a tiempo completo, un aumento desde los 700 de principios de este año. Los ingresos han crecido un 108%, mientras que la compensación promedio de los empleados ha aumentado un 60%, financiada en parte por estas ganancias operativas. Sin embargo, la situación es más compleja. Klarna reportó una pérdida trimestral de 95 millones de dólares y su CEO ha advertido sobre posibles recortes adicionales de personal. Esto demuestra que la automatización por sí sola no garantiza estabilidad.

Sin responsabilidad y estructura, la experiencia se desmorona mucho antes de que la IA falle. Como señala Jason Roos, CEO de Cirrus, “cualquier transformación que genere desconfianza, tanto interna como externa, acarrea un costo que no se puede ignorar; puede dejarte en una situación peor”. Ya hemos visto lo que ocurre cuando la autonomía supera a la responsabilidad. El Departamento de Trabajo y Pensiones del Reino Unido utilizó un algoritmo que erróneamente marcó alrededor de 200,000 solicitudes de beneficios de vivienda como potencialmente fraudulentas, a pesar de que la mayoría eran legítimas. El problema no era la tecnología, sino la falta de una clara responsabilidad sobre sus decisiones.

Cuando un sistema automatizado suspende la cuenta equivocada, rechaza una solicitud válida o genera miedo innecesario, el problema no es solo “¿por qué falló el modelo?”. La pregunta es “¿quién es responsable del resultado?”. Sin esa respuesta, la confianza se vuelve frágil. “El paso que falta siempre es la preparación”, dice Roos. “Si el proceso, los datos y las medidas de control no están en su lugar, la autonomía no acelera el rendimiento, lo que hace es amplificar las debilidades. La responsabilidad debe ser prioritaria. Comienza con el resultado, identifica dónde se desperdicia el esfuerzo, verifica tu preparación y gobernanza, y solo entonces automatiza. Si omites esos pasos, la responsabilidad desaparece tan rápido como llegan las ganancias de eficiencia”.

Parte del problema radica en la obsesión por escalar sin la base que haga esa escala sostenible. Muchas organizaciones se apresuran hacia agentes autónomos que pueden actuar con decisión, pero muy pocos se detienen a considerar qué sucede cuando esas acciones se desvían de los límites esperados. El Edelman Trust Barometer muestra una disminución constante en la confianza pública en la IA durante los últimos cinco años, y un estudio conjunto de KPMG y la Universidad de Melbourne encontró que los trabajadores prefieren mayor participación humana en casi la mitad de las tareas examinadas. Estos hallazgos refuerzan un punto simple: la confianza rara vez proviene de presionar modelos más allá de sus límites. Proviene de las personas que se toman el tiempo para entender cómo se toman las decisiones y de una gobernanza que actúa más como un volante que como un freno.

Las mismas dinámicas se presentan del lado del cliente. La investigación de confianza de PwC revela una gran brecha entre la percepción y la realidad. La mayoría de los ejecutivos creen que los clientes confían en su organización, mientras que solo una minoría de clientes está de acuerdo. Otras encuestas muestran que la transparencia ayuda a cerrar esta brecha, con una gran mayoría de consumidores deseando una divulgación clara cuando se utiliza IA en sus experiencias de servicio. Sin esa claridad, la gente no se siente tranquila, se siente engañada, y la relación se tensa. Las empresas que comunican abiertamente sobre su uso de IA no solo protegen la confianza, sino que también normalizan la idea de que la tecnología y el apoyo humano pueden coexistir.

Parte de la confusión proviene del término “IA agente”. Gran parte del mercado lo trata como algo impredecible o autodirigido, cuando en realidad se trata de automatización de flujos de trabajo con razonamiento y memoria. Es una forma estructurada para que los sistemas tomen decisiones modestas dentro de parámetros diseñados por personas. Las implementaciones que escalan de manera segura siguen la misma secuencia: comienzan con el resultado que desean mejorar, luego observan dónde hay esfuerzos innecesarios en el flujo de trabajo, evalúan si sus sistemas y equipos están listos para la autonomía, y solo después eligen la tecnología. Invertir ese orden no acelera nada; simplemente crea errores más rápidos. Como dice Roos, la IA debe expandir el juicio humano, no reemplazarlo.

Todo esto apunta a una verdad más amplia. Cada ola de automatización se convierte eventualmente en una cuestión social más que puramente técnica. Amazon construyó su dominio a través de la consistencia operativa, pero también generó un nivel de confianza de que el paquete llegaría. Cuando esa confianza disminuye, los clientes se van. La IA sigue el mismo patrón. Puedes implementar sistemas sofisticados y autocorrectores, pero si el cliente se siente engañado en algún momento, la confianza se quiebra. Internamente, las mismas presiones aplican. El estudio global de KPMG destaca cuán rápido se desconectan los empleados cuando no entienden cómo se toman las decisiones o quién es responsable de ellas. Sin esa claridad, la adopción se estanca. A medida que los sistemas de IA asumen más roles conversacionales, la dimensión emocional se vuelve aún más significativa. Las primeras reseñas de interacciones autónomas muestran que las personas ahora evalúan su experiencia no solo por si recibieron ayuda, sino también por si la interacción fue atenta y respetuosa. Un cliente que se siente ignorado rara vez guarda su frustración para sí mismo.