Anthropic ha presentado su estrategia de seguridad para la inteligencia artificial, enfocándose en mantener su modelo de IA, Claude, útil y evitando daños. En el centro de esta iniciativa se encuentra el equipo de Safeguards, que no es un grupo de soporte técnico común, sino una combinación de expertos en políticas, científicos de datos, ingenieros y analistas de amenazas que comprenden cómo piensan los actores maliciosos.
La estrategia de seguridad de Anthropic no consiste en un único muro de protección, sino que se asemeja más a un castillo con múltiples capas defensivas. Todo comienza con la creación de reglas adecuadas y culmina con la búsqueda de nuevas amenazas en el entorno.
El primer paso es la Política de Uso, que actúa como el manual de instrucciones sobre cómo debe y no debe utilizarse Claude. Esta política proporciona orientación clara sobre temas críticos como la integridad electoral y la seguridad infantil, así como el uso responsable de Claude en campos sensibles como las finanzas o la salud.
Para definir estas reglas, el equipo emplea un Marco de Daño Unificado, que les ayuda a considerar los posibles impactos negativos, desde daños físicos y psicológicos hasta económicos y sociales. Este marco no es un sistema de calificación formal, sino una manera estructurada de evaluar riesgos al tomar decisiones.
Además, incorporan expertos externos para realizar Pruebas de Vulnerabilidad de Políticas. Estos especialistas, que se enfocan en áreas como el terrorismo y la seguridad infantil, intentan “romper” a Claude con preguntas difíciles para identificar sus debilidades. Esto se evidenció durante las elecciones de EE. UU. de 2024, cuando, tras colaborar con el Instituto para el Diálogo Estratégico, Anthropic se dio cuenta de que Claude podría proporcionar información electoral desactualizada. Como resultado, añadieron un banner que dirige a los usuarios a TurboVote, una fuente confiable de información electoral actualizada y no partidista.
El equipo de Safeguards trabaja de cerca con los desarrolladores que entrenan a Claude para incorporar la seguridad desde el inicio. Esto implica decidir qué tipo de comportamientos debe y no debe adoptar Claude, integrando esos valores en el modelo mismo. También colaboran con especialistas para lograrlo. Por ejemplo, al asociarse con ThroughLine, un líder en apoyo a crisis, han enseñado a Claude a manejar conversaciones delicadas sobre salud mental y autolesiones con sensibilidad, en lugar de simplemente negarse a hablar sobre el tema.
Esta capacitación cuidadosa es la razón por la que Claude rechaza solicitudes para ayudar en actividades ilegales, escribir código malicioso o crear estafas. Antes de que cualquier nueva versión de Claude se implemente, pasa por tres tipos clave de evaluaciones. Las evaluaciones de seguridad verifican si Claude sigue las reglas, incluso en conversaciones largas y complejas. Las evaluaciones de riesgo se realizan en áreas de alto riesgo, como amenazas cibernéticas o riesgos biológicos, a menudo con la colaboración de socios gubernamentales e industriales. Las evaluaciones de sesgo se centran en la equidad, comprobando si Claude ofrece respuestas confiables y precisas para todos, evaluando sesgos políticos o respuestas distorsionadas basadas en género o raza.
Este riguroso proceso de evaluación permite al equipo determinar si la capacitación ha sido efectiva y si necesitan implementar protecciones adicionales antes del lanzamiento. Una vez que Claude se encuentra en funcionamiento, una combinación de sistemas automatizados y revisores humanos monitorean posibles problemas. La herramienta principal en este sentido es un conjunto de modelos especializados de Claude, llamados clasificadores, que están entrenados para detectar violaciones de políticas en tiempo real. Si un clasificador identifica un problema, puede activar diferentes acciones, como redirigir la respuesta de Claude para evitar generar contenido dañino, como spam. Para los infractores reincidentes, el equipo podría emitir advertencias o incluso cerrar la cuenta.
El equipo también analiza el panorama general. Utilizan herramientas que respetan la privacidad para identificar tendencias en el uso de Claude y emplean técnicas como la resumación jerárquica para detectar abusos a gran escala, como campañas de influencia coordinadas. Constantemente buscan nuevas amenazas, revisando datos y monitoreando foros donde podrían operar actores maliciosos. Sin embargo, Anthropic reconoce que garantizar la seguridad de la IA no es una tarea que puedan realizar solos. Están trabajando activamente con investigadores, responsables políticos y el público para construir las mejores salvaguardias posibles.
