Un nuevo estudio realizado por un investigador de Samsung revela que un modelo de inteligencia artificial de tamaño reducido puede superar a los gigantescos Modelos de Lenguaje de Gran Escala (LLMs) en tareas de razonamiento complejo. En la búsqueda por la supremacía en el campo de la IA, la idea predominante ha sido que 'cuanto más grande, mejor'. Sin embargo, Alexia Jolicoeur-Martineau, de Samsung SAIL en Montreal, propone un enfoque radicalmente distinto y más eficiente a través del Modelo Recursivo Pequeño (TRM).
Este modelo, que cuenta con apenas 7 millones de parámetros, representa menos del 0.01% del tamaño de los LLMs líderes en el mercado, y ha logrado resultados sobresalientes en pruebas de inteligencia extremadamente desafiantes, como el test ARC-AGI. El trabajo de Samsung pone en tela de juicio la creencia de que la escala es la única vía para avanzar en las capacidades de los modelos de IA, ofreciendo una alternativa más sostenible y eficiente en términos de parámetros.
A pesar de que los LLMs han demostrado una notable habilidad para generar texto similar al humano, su capacidad para realizar razonamientos complejos y de múltiples pasos puede ser frágil. Dado que generan respuestas token por token, un error en las primeras etapas puede arruinar toda la solución, resultando en una respuesta final inválida. Para mitigar esto, se han desarrollado técnicas como el 'Chain-of-Thought' que permiten al modelo 'pensar en voz alta' y desglosar un problema. Sin embargo, estos métodos son costosos en términos computacionales, requieren grandes cantidades de datos de razonamiento de alta calidad que pueden no estar disponibles y aún pueden producir lógicas defectuosas.
A pesar de estas mejoras, los LLMs continúan enfrentando dificultades con ciertos rompecabezas donde la ejecución lógica perfecta es esencial. El modelo de Samsung se basa en un modelo de IA más reciente conocido como el Modelo de Razonamiento Jerárquico (HRM), que introdujo un método novedoso utilizando dos pequeñas redes neuronales que trabajan recursivamente en un problema a diferentes frecuencias para refinar una respuesta. Aunque mostró gran potencial, su complejidad se basaba en argumentos biológicos inciertos y teoremas fijos complejos que no garantizaban su aplicabilidad.
En lugar de las dos redes del HRM, el TRM utiliza una única red pequeña que mejora recursivamente tanto su 'razonamiento' interno como su 'respuesta' propuesta. El modelo recibe la pregunta, una suposición inicial sobre la respuesta y una característica de razonamiento latente. Primero, pasa por varios pasos para refinar su razonamiento latente basado en las tres entradas. Luego, utilizando este razonamiento mejorado, actualiza su predicción para la respuesta final. Este proceso puede repetirse hasta 16 veces, permitiendo que el modelo corrija progresivamente sus propios errores de manera altamente eficiente en términos de parámetros.
De manera sorprendente, la investigación reveló que una red pequeña con solo dos capas logró una generalización mucho mejor que una versión de cuatro capas. Esta reducción de tamaño parece prevenir el sobreajuste, un problema común al entrenar en conjuntos de datos más pequeños y especializados. Además, el TRM evita las justificaciones matemáticas complejas utilizadas por su predecesor. El modelo original HRM requería la suposición de que sus funciones convergían a un punto fijo para justificar su método de entrenamiento. El TRM elude esto por completo al simplemente retropropagar a través de su proceso completo de recursión. Este cambio solo proporcionó un gran impulso en el rendimiento, mejorando la precisión en el benchmark Sudoku-Extreme del 56.5% al 87.4% en un estudio de ablación.
Los resultados son contundentes. En el conjunto de datos Sudoku-Extreme, que utiliza solo 1,000 ejemplos de entrenamiento, el TRM alcanza una precisión de prueba del 87.4%, un salto significativo desde el 55% del HRM. En el desafío Maze-Hard, que implica encontrar caminos largos a través de laberintos de 30x30, el TRM obtiene un 85.3% en comparación con el 74.5% del HRM. Más notable aún, el TRM ha realizado avances significativos en el Corpus de Abstracción y Razonamiento (ARC-AGI), un estándar diseñado para medir la verdadera inteligencia fluida en la IA. Con solo 7 millones de parámetros, el TRM logra una precisión del 44.6% en ARC-AGI-1 y 7.8% en ARC-AGI-2, superando al HRM, que utilizó un modelo de 27 millones de parámetros, y incluso a muchos de los LLMs más grandes del mundo. Para ponerlo en perspectiva, el modelo Gemini 2.5 Pro solo alcanza un 4.9% en ARC-AGI-2.
El proceso de entrenamiento del TRM también se ha vuelto más eficiente. Se implementó un mecanismo adaptativo llamado ACT, que decide cuándo el modelo ha mejorado lo suficiente una respuesta y puede pasar a una nueva muestra de datos. Esta simplificación eliminó la necesidad de un segundo pase hacia adelante costoso a través de la red durante cada paso de entrenamiento, sin que esto afectara significativamente la generalización final. Esta investigación de Samsung presenta un argumento convincente en contra de la actual trayectoria de modelos de IA en constante expansión. Muestra que, al diseñar arquitecturas que pueden razonar de manera iterativa y autocorregirse, es posible resolver problemas extremadamente difíciles con una fracción diminuta de los recursos computacionales.
