El auge de los Grandes Modelos de Lenguaje (LLMs) ha impulsado a las empresas a soñar con nuevos proyectos de IA, llevando a muchos programas piloto a la fase de implementación. Sin embargo, el entusiasmo inicial chocó con una realidad: los primeros LLMs eran costosos e inmanejables. Aquí es donde entran los Modelos de Lenguaje Pequeños (SLMs) y la destilación, cambiando el panorama de la IA empresarial.
El auge de los modelos pequeños: Menos costo, más velocidad y precisión
Modelos como Gemma (Google), Phi (Microsoft) y Mistral Small 3.1 han permitido a las empresas optar por soluciones de IA más rápidas, precisas y, lo más importante, más económicas para tareas específicas. Karthik Ramgopal, ingeniero distinguido de LinkedIn, explica que los modelos más pequeños requieren menos computación, memoria y ofrecen tiempos de inferencia más rápidos, lo que se traduce directamente en menores gastos operativos (OPEX) y de capital (CAPEX), considerando los altos costos y la disponibilidad de las GPUs.
Los desarrolladores de modelos están ajustando sus precios: por ejemplo, OpenAI’s o4-mini es significativamente más barato que su versión completa. Hoy, las empresas tienen un abanico más amplio de SLMs y modelos destilados para elegir. Incluso las familias de modelos insignia, como Claude de Anthropic, ofrecen diversas escalas (Opus, Sonnet, Haiku), algunas lo suficientemente compactas para operar en dispositivos portátiles.
El desafío del ROI en la IA: ¿Ahorro de tiempo o dinero directo?
Calcular el Retorno de Inversión (ROI) en proyectos de IA puede ser complejo, ya que los beneficios no siempre son inmediatamente monetarios. Algunos consideran el tiempo ahorrado como un ROI válido, mientras que otros esperan un ahorro directo en dólares o más negocios.
Ravi Naarla de Cognizant sugiere una fórmula sencilla (ROI = (Beneficios-Costos)/Costos), pero advierte que en IA, los beneficios no son evidentes al instante. Recomienda identificar beneficios esperados, estimarlos con datos históricos, ser realista con los costos (contratación, implementación, mantenimiento) y entender que la IA es una inversión a largo plazo. Los expertos coinciden en que los SLMs reducen significativamente los costos de implementación y mantenimiento, especialmente al afinar los modelos para contextos específicos de la empresa.
Contexto y reducción de costos: El «no hay almuerzo gratis» de la IA
Arijit Sengupta, CEO de Aible, destaca que la forma en que se proporciona contexto a los modelos impacta directamente en el ahorro de costos. Aunque los modelos grandes suelen obtener contexto a través de prompts largos y costosos, el «fine-tuning» (ajuste fino) y el «post-training» (post-entrenamiento) son alternativas más eficientes. Sengupta ha visto reducciones de costos de hasta 100 veces solo con el post-entrenamiento, pasando de millones a decenas de miles de dólares en costos de uso de modelos.
Sin embargo, el mantenimiento de modelos pequeños puede ser costoso si se hace manualmente, ya que necesitan ser post-entrenados para igualar los resultados de los modelos grandes. Aible ha demostrado que modelos afinados para tareas específicas pueden rendir tan bien como los LLMs para ciertos casos de uso, lo que justifica desplegar varios modelos pequeños específicos en lugar de uno grande y «todoterreno».
Elección del modelo «Adecuado para el propósito» y la constante evolución
Elegir el tamaño adecuado del modelo no implica sacrificar el rendimiento. Las organizaciones entienden que no se trata solo de elegir entre GPT-4o o Llama-3.1, sino de saber que ciertos casos de uso (como la sumarización o la generación de código) se benefician más de un modelo pequeño.
Expertos como Daniel Hoske (Cresta) y Karthik Ramgopal (LinkedIn) sugieren empezar con modelos grandes para prototipar rápidamente y validar hipótesis. Una vez que el producto madura y surgen restricciones de calidad, costo o latencia, se transita hacia soluciones más personalizadas y, a menudo, más pequeñas.
Es crucial que las organizaciones entiendan que lo que construyen hoy será superado por una versión mejor mañana. La flexibilidad y la constante evaluación son clave. Los proveedores están facilitando el cambio automático entre modelos, pero se aconseja buscar plataformas que también permitan el ajuste fino para evitar costos adicionales. La optimización no solo viene de usar un modelo de baja computación, sino de emparejar el modelo con la tarea correcta. No obstante, el uso excesivo de modelos pequeños puede ser un problema si no tienen suficiente contexto, lo que podría aumentar la carga de trabajo humana.
