Samsung está superando las limitaciones de los benchmarks existentes para evaluar de manera más efectiva la productividad real de los modelos de inteligencia artificial (IA) en entornos empresariales. La nueva herramienta, desarrollada por Samsung Research y denominada TRUEBench, busca cerrar la creciente brecha entre el rendimiento teórico de la IA y su utilidad práctica en el ámbito laboral.

A medida que las empresas de todo el mundo aceleran la adopción de modelos de lenguaje de gran tamaño (LLMs) para optimizar sus operaciones, surge un desafío importante: cómo medir con precisión su efectividad. Muchos benchmarks actuales se centran en pruebas académicas o de conocimiento general, a menudo limitadas al inglés y a formatos de preguntas y respuestas sencillas. Esto ha creado una laguna que deja a las empresas sin un método confiable para evaluar cómo se desempeñará un modelo de IA en tareas empresariales complejas, multilingües y ricas en contexto.

El TRUEBench, que significa Benchmark de Evaluación de Uso Real y Confiable, fue diseñado para llenar este vacío. Proporciona un conjunto integral de métricas que evalúan los LLMs en función de escenarios y tareas directamente relevantes para los entornos corporativos reales. Este benchmark se basa en la extensa experiencia interna de Samsung en el uso de modelos de IA, asegurando que los criterios de evaluación estén fundamentados en las demandas genuinas del lugar de trabajo.

El sistema evalúa funciones empresariales comunes como la creación de contenido, el análisis de datos, la síntesis de documentos extensos y la traducción de materiales. Estas tareas se desglosan en 10 categorías distintas y 46 subcategorías, lo que ofrece una visión detallada de las capacidades de productividad de la IA.

“Samsung Research aporta una profunda experiencia y una ventaja competitiva a través de su experiencia real en IA”, afirmó Paul (Kyungwhoon) Cheun, CTO de la División DX de Samsung Electronics y Head de Samsung Research. “Esperamos que TRUEBench establezca estándares de evaluación para la productividad”.

Para abordar las limitaciones de los benchmarks anteriores, TRUEBench se construyó sobre una base de 2,485 conjuntos de pruebas diversos que abarcan 12 idiomas diferentes y apoyan escenarios multilingües. Este enfoque es fundamental para las corporaciones globales donde la información fluye entre diferentes regiones. Los materiales de prueba reflejan la variedad de solicitudes laborales, desde instrucciones breves de solo ocho caracteres hasta análisis complejos de documentos que superan los 20,000 caracteres.

Samsung reconoció que en un contexto empresarial real, la intención completa de un usuario no siempre se expresa de manera explícita en su solicitud inicial. Por lo tanto, el benchmark está diseñado para evaluar la capacidad de un modelo de IA para comprender y satisfacer estas necesidades empresariales implícitas, yendo más allá de la simple precisión hacia una medida más matizada de utilidad y relevancia.

Para lograr esto, Samsung Research desarrolló un proceso colaborativo único entre expertos humanos y IA para crear los criterios de puntuación de productividad. Inicialmente, los anotadores humanos establecen los estándares de evaluación para una tarea determinada. Luego, una IA revisa estos estándares, buscando errores potenciales, contradicciones internas o restricciones innecesarias que podrían no reflejar las expectativas realistas de los usuarios. Tras la retroalimentación de la IA, los anotadores humanos refinan los criterios. Este proceso iterativo asegura que los estándares de evaluación finales sean precisos y reflejen un resultado de alta calidad.

Este proceso verificado cruzadamente proporciona un sistema de evaluación automatizado que puntúa el rendimiento de los LLMs. Al utilizar IA para aplicar estos criterios refinados, el sistema minimiza el sesgo subjetivo que puede ocurrir con la puntuación solo humana, garantizando consistencia y fiabilidad en todas las pruebas. TRUEBench también emplea un modelo de puntuación estricto donde un modelo de IA debe cumplir todas las condiciones asociadas a una prueba para recibir una calificación aprobatoria. Este enfoque todo o nada para las condiciones individuales permite una evaluación más detallada y rigurosa del rendimiento de los modelos de IA en diversas tareas empresariales.

Para fomentar la transparencia y promover una adopción más amplia, Samsung ha hecho que las muestras de datos y las tablas de clasificación de TRUEBench estén disponibles públicamente en la plataforma de código abierto Hugging Face. Esto permite a desarrolladores, investigadores y empresas comparar directamente el rendimiento de productividad de hasta cinco modelos de IA diferentes simultáneamente. La plataforma proporciona una visión clara y rápida de cómo se comparan diversas IA en tareas prácticas.

Al momento de redactar, aquí están los 20 modelos principales según el ranking general basado en el benchmark de Samsung. Los datos publicados también incluyen la longitud promedio de las respuestas generadas por la IA, lo que permite una comparación simultánea no solo del rendimiento, sino también de la eficiencia, un aspecto clave para las empresas que evalúan costos operativos y velocidad.

Con el lanzamiento de TRUEBench, Samsung no solo está introduciendo otra herramienta, sino que busca transformar la forma en que la industria percibe el rendimiento de la IA. Al mover el enfoque de conocimientos abstractos hacia una productividad tangible, el benchmark de Samsung podría desempeñar un papel crucial en ayudar a las organizaciones a tomar decisiones más informadas sobre qué modelos de IA empresarial integrar en sus flujos de trabajo, cerrando la brecha entre el potencial de la IA y su valor comprobado.