Las empresas están reconsiderando su infraestructura de inteligencia artificial (IA) ante el aumento de los costos de inferencia. A pesar de que la inversión en IA en la región de Asia-Pacífico sigue en ascenso, muchas organizaciones aún tienen dificultades para obtener el valor esperado de sus proyectos de IA. Este desafío se debe, en gran medida, a la infraestructura que respalda estas iniciativas, ya que la mayoría de los sistemas no están diseñados para ejecutar inferencias a la velocidad y escala que requieren las aplicaciones reales.

Estudios de la industria revelan que numerosos proyectos no alcanzan sus objetivos de retorno de inversión, incluso después de realizar importantes inversiones en herramientas de inteligencia artificial generativa. Esta brecha subraya cómo la infraestructura de IA impacta en el rendimiento, los costos y la capacidad de escalar implementaciones en el mundo real dentro de la región.

Akamai está intentando abordar este desafío con su Inference Cloud, desarrollado junto a NVIDIA y potenciado por los últimos GPUs Blackwell. La premisa es sencilla: dado que la mayoría de las aplicaciones de IA necesitan tomar decisiones en tiempo real, esas decisiones deberían generarse cerca de los usuarios, en lugar de depender de centros de datos lejanos. Akamai sostiene que este cambio puede ayudar a las empresas a gestionar costos, reducir demoras y soportar servicios de IA que requieren respuestas inmediatas.

Jay Jenkins, CTO de Cloud Computing en Akamai, explicó por qué este momento está obligando a las empresas a repensar cómo implementan la IA y por qué la inferencia, y no el entrenamiento, se ha convertido en el verdadero cuello de botella. Jenkins señala que la distancia entre la experimentación y el despliegue a gran escala es mucho mayor de lo que muchas organizaciones anticipan. "Muchas iniciativas de IA no logran entregar el valor empresarial esperado porque las empresas a menudo subestiman la brecha entre la experimentación y la producción", afirma.

A pesar del gran interés en la inteligencia artificial generativa, los altos costos de infraestructura, la latencia elevada y la dificultad para ejecutar modelos a gran escala a menudo obstaculizan el progreso. La mayoría de las empresas todavía dependen de nubes centralizadas y grandes clústeres de GPU. Sin embargo, a medida que crece el uso, estas configuraciones se vuelven demasiado costosas, especialmente en regiones alejadas de los principales centros de nube. La latencia se convierte en un problema significativo cuando los modelos deben ejecutar múltiples pasos de inferencia a largas distancias.

Jenkins subraya que "la IA solo es tan poderosa como la infraestructura y la arquitectura en las que se ejecuta", y añade que la latencia a menudo debilita la experiencia del usuario y el valor que la empresa esperaba ofrecer. Además, menciona que las configuraciones de múltiples nubes, las complejas regulaciones de datos y las crecientes necesidades de cumplimiento son obstáculos comunes que ralentizan la transición de proyectos piloto a producción.

En la región de Asia-Pacífico, la adopción de IA está cambiando de pequeñas pruebas a implementaciones reales en aplicaciones y servicios. Jenkins destaca que a medida que esto sucede, la inferencia diaria, y no el ciclo ocasional de entrenamiento, es lo que consume la mayor parte del poder computacional. Con muchas organizaciones desplegando modelos de lenguaje, visión y multimodales en múltiples mercados, la demanda de inferencias rápidas y confiables está creciendo más rápido de lo esperado. Por esta razón, la inferencia se ha convertido en la principal limitación en la región.

Los modelos ahora deben operar en diferentes idiomas, regulaciones y entornos de datos, a menudo en tiempo real. Esto ejerce una gran presión sobre los sistemas centralizados que nunca fueron diseñados para este nivel de capacidad de respuesta. Jenkins indica que acercar la inferencia a los usuarios, dispositivos o agentes puede transformar la ecuación de costos. Al hacerlo, se acorta la distancia que debe recorrer la información y se permite que los modelos respondan más rápido. También se evita el costo de enrutar grandes volúmenes de datos entre los principales centros de nube.

Sistemas de IA físicos, como robots, máquinas autónomas o herramientas de ciudades inteligentes, dependen de decisiones que deben tomarse en milisegundos. Cuando la inferencia se realiza a gran distancia, estos sistemas no funcionan como se espera. Los ahorros de las implementaciones más localizadas también pueden ser significativos. Jenkins menciona que un análisis de Akamai muestra que las empresas en India y Vietnam experimentan grandes reducciones en los costos de ejecución de modelos de generación de imágenes cuando las cargas de trabajo se colocan en el borde, en lugar de en nubes centralizadas. Un mejor uso de GPU y tarifas de egreso más bajas jugaron un papel importante en esos ahorros.

La demanda inicial de inferencia en el borde proviene principalmente de industrias donde incluso pequeños retrasos pueden afectar ingresos, seguridad o compromiso del usuario. El comercio minorista y el comercio electrónico son de los primeros adoptantes, ya que los compradores a menudo abandonan experiencias lentas. Las recomendaciones personalizadas, las búsquedas y las herramientas de compras multimodales funcionan mejor cuando la inferencia es local y rápida. El sector financiero es otro ámbito donde la latencia afecta directamente el valor. Jenkins señala que cargas de trabajo como verificaciones de fraude, aprobación de pagos y puntuación de transacciones dependen de cadenas de decisiones de IA que deben ocurrir en milisegundos.

Con el crecimiento de las cargas de trabajo de IA, las empresas requieren una infraestructura que pueda mantenerse al día. Jenkins menciona que esto ha llevado a proveedores de nube y fabricantes de GPU a colaborar más estrechamente. El trabajo de Akamai con NVIDIA es un ejemplo, con GPUs, DPUs y software de IA desplegados en miles de ubicaciones en el borde. La idea es construir una "red de entrega de IA" que distribuya la inferencia en muchos sitios en lugar de concentrar todo en unas pocas regiones. Esto mejora el rendimiento y también apoya el cumplimiento normativo.

Jenkins señala que casi la mitad de las grandes organizaciones de Asia-Pacífico luchan con diferentes regulaciones de datos en los mercados, lo que hace que el procesamiento local sea más importante. Las asociaciones emergentes están dando forma a la próxima fase de la infraestructura de IA en la región, especialmente para cargas de trabajo que dependen de respuestas de baja latencia. La seguridad se integra en estos sistemas desde el principio, y controles de confianza cero, enrutamiento consciente de datos y protecciones contra fraudes y bots se están convirtiendo en partes estándar de las pilas tecnológicas disponibles.

La infraestructura necesaria para soportar sistemas autónomos de IA y automatización requiere que estos operen a velocidades de milisegundos. Jenkins considera que la diversidad de la región complica esta tarea, pero no la hace imposible. Los países difieren ampliamente en conectividad, regulaciones y preparación técnica, por lo que las cargas de trabajo de IA deben ser lo suficientemente flexibles como para ejecutarse donde tenga más sentido. Apunta a investigaciones que muestran que la mayoría de las empresas en la región ya utilizan la nube pública en producción, pero muchas esperan depender de servicios en el borde para 2027. Este cambio requerirá una infraestructura que pueda mantener los datos en el país, enrutar tareas hacia la ubicación más cercana y seguir funcionando cuando las redes sean inestables.