Tencent ha ampliado su gama de modelos de inteligencia artificial Hunyuan de código abierto, los cuales son lo suficientemente versátiles para un uso amplio. Esta nueva serie de modelos está diseñada para ofrecer un rendimiento potente en diferentes entornos computacionales, desde dispositivos pequeños hasta sistemas de producción que requieren alta concurrencia.
El lanzamiento incluye un conjunto completo de modelos preentrenados y ajustados por instrucciones, disponibles en la plataforma para desarrolladores Hugging Face. Los modelos vienen en varias escalas de parámetros, específicamente con tamaños de 0.5B, 1.8B, 4B y 7B, lo que brinda una flexibilidad considerable para desarrolladores y empresas.
Tencent ha indicado que estos modelos fueron desarrollados con estrategias de entrenamiento similares a las de su modelo más potente, el Hunyuan-A13B, lo que les permite heredar características de rendimiento excepcionales. Esta metodología permite a los usuarios elegir el modelo óptimo para sus necesidades, ya sea una variante más pequeña para computación en el borde con recursos limitados o un modelo más grande para cargas de trabajo de producción de alto rendimiento, todo mientras se asegura un rendimiento robusto.
Una de las características más destacadas de la serie Hunyuan es su soporte nativo para una ventana de contexto ultra larga de 256K. Esto permite a los modelos manejar y mantener un rendimiento estable en tareas de texto largo, una capacidad vital para análisis de documentos complejos, conversaciones extendidas y generación de contenido en profundidad.
Los modelos también soportan lo que Tencent denomina “razonamiento híbrido”, que permite elegir entre modos de pensamiento rápido y lento, dependiendo de los requisitos específicos del usuario. La compañía ha puesto un fuerte énfasis en las capacidades de agentes. Los modelos han sido optimizados para tareas basadas en agentes y han demostrado resultados sobresalientes en benchmarks establecidos como BFCL-v3, τ-Bench y C3-Bench, sugiriendo un alto grado de competencia en la resolución de problemas complejos y en múltiples etapas.
Por ejemplo, en el C3-Bench, el modelo Hunyuan-7B-Instruct alcanza una puntuación de 68.5, mientras que el modelo Hunyuan-4B-Instruct obtiene 64.3. El enfoque de la serie se centra en la inferencia eficiente. Los modelos Hunyuan de Tencent utilizan la técnica de Atención de Consulta Agrupada (GQA), conocida por mejorar la velocidad de procesamiento y reducir la carga computacional.
Esta eficiencia se ve aún más potenciada por el soporte avanzado de cuantización, un elemento clave de la arquitectura Hunyuan diseñado para disminuir las barreras de implementación. Tencent ha desarrollado su propio conjunto de herramientas de compresión, denominado AngleSlim, para crear una solución de compresión de modelos más amigable y efectiva. Con esta herramienta, la compañía ofrece dos tipos principales de cuantización para la serie Hunyuan.
El primero es la cuantización estática FP8, que utiliza un formato de punto flotante de 8 bits. Este método emplea una pequeña cantidad de datos de calibración para predefinir la escala de cuantización sin requerir un reentrenamiento completo, convirtiendo los pesos del modelo y los valores de activación en el formato FP8 para aumentar la eficiencia de la inferencia. El segundo método es la cuantización INT4, que logra la cuantización W4A16 a través de los algoritmos GPTQ y AWQ: el enfoque GPTQ procesa los pesos del modelo capa por capa, utilizando datos de calibración para minimizar los errores en los pesos cuantizados. Este proceso evita la necesidad de reentrenar el modelo y mejora la velocidad de inferencia.
El algoritmo AWQ, por su parte, analiza estadísticamente la amplitud de los valores de activación de un pequeño conjunto de datos de calibración. Luego, calcula un coeficiente de escalado para cada canal de peso, lo que expande el rango numérico de los pesos importantes para retener más información durante el proceso de compresión. Los desarrolladores pueden usar la herramienta AngleSlim por sí mismos o descargar los modelos pre-cuantizados directamente.
Los benchmarks de rendimiento confirman las sólidas capacidades de los modelos Hunyuan de Tencent en una variedad de tareas. Por ejemplo, el modelo Hunyuan-7B preentrenado logra una puntuación de 79.82 en el benchmark MMLU, 88.25 en GSM8K y 74.85 en el benchmark MATH, demostrando habilidades razonables y matemáticas sólidas. Las variantes ajustadas por instrucciones muestran resultados impresionantes en áreas especializadas. En matemáticas, el modelo Hunyuan-7B-Instruct obtiene una puntuación de 81.1 en el benchmark AIME 2024, mientras que la versión de 4B alcanza 78.3. En ciencia, el modelo de 7B llega a 76.5 en OlympiadBench, y en codificación, logra 42 en Livecodebench.
Los benchmarks de cuantización muestran una degradación mínima del rendimiento. En el benchmark DROP, el modelo Hunyuan-7B-Instruct obtiene una puntuación de 85.9 en su formato base B16, 86.0 con FP8 y 85.7 con Int4 GPTQ, lo que indica que las ganancias de eficiencia no afectan la precisión. Para la implementación, Tencent recomienda utilizar marcos establecidos como TensorRT-LLM, vLLM o SGLang para servir los modelos Hunyuan y crear puntos finales de API compatibles con OpenAI, asegurando que puedan integrarse sin problemas en los flujos de trabajo de desarrollo existentes.
Esta combinación de rendimiento, eficiencia y flexibilidad en la implementación posiciona a la serie Hunyuan como un competidor poderoso en el ámbito de la inteligencia artificial de código abierto.
