Las empresas, como Apple, están avanzando en el desarrollo de asistentes de inteligencia artificial (IA) con límites preestablecidos. Esta tendencia surge en un contexto donde la privacidad y la seguridad de los usuarios son primordiales. Los primeros informes indican que estos asistentes pueden realizar tareas como navegar en aplicaciones, gestionar reservas y llevar a cabo diversas gestiones en servicios digitales.
Un sistema de agentes en beta privada ha demostrado su capacidad para completar tareas como la reserva de servicios o la publicación de contenido en aplicaciones. En una de las pruebas realizadas, el asistente logró avanzar en un flujo de trabajo de una aplicación y llegó a la pantalla de pago, momento en el que solicitó confirmación del usuario antes de proceder. Este enfoque refleja un modelo de 'humano en el circuito', donde el sistema prepara una acción pero deja la aprobación final en manos del usuario.
Investigaciones vinculadas al trabajo de IA de Apple han explorado métodos para asegurar que los sistemas se detengan antes de ejecutar acciones que los usuarios no han solicitado explícitamente. Por ejemplo, las aplicaciones bancarias ya requieren confirmación para las transferencias, y este principio se está aplicando ahora a las acciones impulsadas por IA en múltiples servicios.
Un aspecto clave de esta estrategia es la implementación de un nivel de control que limita el acceso de la IA. En lugar de otorgar acceso completo a aplicaciones y datos, las empresas establecen restricciones sobre qué aplicaciones pueden interactuar con la IA y cuándo se pueden activar las acciones. Esto significa que la IA puede redactar una compra o preparar una reserva, pero no podrá finalizarla sin la aprobación del usuario. Además, el sistema no podrá moverse libremente en todos los servicios a menos que se le otorgue permiso.
Según Tom's Guide, esta medida se implementa en nombre de la privacidad. Si los datos permanecen en el dispositivo, se elimina la necesidad de enviar información sensible a servidores externos. En áreas como los pagos, se espera que los sistemas de IA trabajen con socios que ya tienen reglas estrictas en su lugar. En un ejemplo reportado, se están integrando servicios de proveedores de pagos para proporcionar autenticación segura antes de completar las transacciones, aunque estas salvaguardias aún se encuentran en desarrollo.
Gran parte de la discusión sobre la gobernanza de la IA se ha centrado en su uso empresarial, abarcando áreas como la ciberseguridad y la automatización a gran escala. Sin embargo, el lado del consumidor presenta desafíos diferentes, y las empresas deben diseñar controles que sean efectivos para los usuarios cotidianos. Esto implica establecer pasos claros de aprobación y proteger la privacidad de los usuarios de manera integral.
A medida que la IA adquiere la capacidad de realizar acciones, los riesgos aumentan, ya que los errores pueden conllevar pérdidas financieras o exposición de datos. Al implementar controles en múltiples puntos, incluidas la aprobación y la infraestructura, las empresas intentan gestionar estos riesgos. Este enfoque podría definir cómo se desarrollará la IA en el futuro cercano. En lugar de buscar una independencia total, las empresas parecen enfocarse en entornos controlados donde los riesgos puedan ser administrados de manera efectiva.
