La inteligencia artificial se está convirtiendo en una herramienta fundamental para muchas organizaciones. Sin embargo, a medida que crece su adopción, también aumenta un problema que preocupa cada vez más a las empresas: el coste de ejecutar modelos de IA en la nube.
Servicios como Copilot, Azure AI Foundry o los modelos disponibles a través de distintos proveedores permiten incorporar capacidades avanzadas de inteligencia artificial a los procesos empresariales, pero muchas organizaciones empiezan a preguntarse si es posible reducir la dependencia de estos servicios y aprovechar parte de su infraestructura existente.
En este contexto, Microsoft ha presentado Foundry Local, una alternativa gratuita que permite ejecutar determinados modelos de inteligencia artificial directamente en el dispositivo del usuario, sin necesidad de enviar todas las peticiones a servicios cloud.
En este artículo comparto las pruebas realizadas con esta tecnología y las conclusiones obtenidas tras ejecutarla en un equipo con recursos muy limitados.
Por qué ejecutar modelos de IA en local puede ser importante
Durante los últimos años, la mayoría de las soluciones empresariales basadas en inteligencia artificial se han apoyado en servicios cloud. Este enfoque ofrece ventajas evidentes en términos de escalabilidad, rendimiento y facilidad de gestión, pero también implica un coste asociado al consumo de recursos.
Cuando hablamos de asistentes conversacionales, este coste suele ser asumible. Sin embargo, la situación cambia cuando comenzamos a procesar grandes volúmenes de información de forma recurrente, por ejemplo, mediante la clasificación de documentos, la extracción de datos de facturas o la automatización de procesos internos.
En estos escenarios, cada llamada al modelo tiene un coste y, a medida que aumenta el volumen de ejecución, la factura puede crecer de forma significativa.
Por ese motivo resulta interesante explorar alternativas que permitan aprovechar el hardware disponible dentro de la organización y reducir parte de esa dependencia de los servicios cloud.
Qué es Microsoft Foundry Local
Microsoft Foundry Local es una versión de Azure AI Foundry diseñada para ejecutar modelos de inteligencia artificial directamente en nuestros dispositivos (computadores, teléfonos inteligentes, servidores propios, etcétera).
Su objetivo es permitir que aplicaciones de escritorio, aplicaciones móviles o desarrollos personalizados puedan trabajar con modelos de IA sin depender exclusivamente de servicios remotos.
Una de las características más interesantes de Foundry Local es que incorpora modelos optimizados para distintos tipos de hardware, permitiendo aprovechar no solo la GPU tradicional, sino también otros componentes especializados como las NPU (Neural Processing Units) que empiezan a incorporarse en los nuevos dispositivos.
Esto abre la puerta a ejecutar determinadas cargas de trabajo de inteligencia artificial directamente en el equipo del usuario incluso cuando el hardware disponible no es especialmente potente.
Probando Foundry Local con un portátil de gama básica
La prueba realizada en el vídeo parte de una situación poco favorable.
El equipo utilizado dispone de una gráfica integrada Intel, una cantidad de memoria limitada y recursos que, a priori, no parecerían adecuados para ejecutar modelos de inteligencia artificial de forma local.
Para comprobar hasta dónde puede llegar Foundry Local, se plantea una tarea relativamente habitual en entornos empresariales: leer una factura en formato PDF y extraer determinados campos devolviendo el resultado en formato JSON.
Durante la ejecución puede observarse cómo la GPU trabaja al máximo rendimiento mientras procesa el documento y genera la respuesta. A pesar de las limitaciones del equipo, Foundry Local consigue completar la tarea correctamente y devolver los datos esperados.
Más allá de la velocidad concreta obtenida, lo relevante de la prueba es demostrar que este tipo de procesamiento puede realizarse en equipos modestos utilizando modelos optimizados.
Cómo gestiona Foundry Local los modelos de inteligencia artificial
Una vez instalado, Foundry Local permite consultar los modelos disponibles y ejecutarlos directamente desde línea de comandos.
Los modelos muestran información relacionada con su tamaño, capacidades y compatibilidad con distintos tipos de hardware. Algunos están orientados a tareas conversacionales, otros a procesamiento multimodal y otros a escenarios específicos como reconocimiento de voz.
La plataforma también permite identificar qué modelos pueden aprovechar componentes como la GPU o la NPU del dispositivo, algo especialmente relevante en los nuevos equipos que incorporan hardware diseñado específicamente para cargas de trabajo de inteligencia artificial.
Este enfoque facilita seleccionar el modelo más adecuado en función de las características del equipo disponible y del caso de uso que queremos resolver.
Foundry Local frente a otras alternativas para ejecutar IA en local
En el ecosistema de inteligencia artificial existen otras soluciones populares para ejecutar modelos localmente.
Durante las pruebas realizadas, el comportamiento de estas herramientas fue muy diferente en un equipo con recursos limitados. Mientras que algunos modelos resultaban difíciles de ejecutar con un rendimiento aceptable, Foundry Local fue capaz de completar la tarea utilizando el mismo hardware.
La explicación que se plantea en el vídeo es que Microsoft está optimizando los modelos disponibles dentro de Foundry Local para distintos tipos de dispositivos, permitiendo aprovechar mejor los recursos disponibles.
Aunque la comparativa no pretende medir el rendimiento exacto entre plataformas, sí muestra que Foundry Local puede convertirse en una alternativa interesante para organizaciones que quieren explorar escenarios de IA local sin necesidad de invertir inmediatamente en nuevo hardware.
El siguiente paso: utilizar Foundry Local desde Visual Studio Code
Otro de los aspectos explorados durante las pruebas es la posibilidad de utilizar modelos locales dentro del entorno de desarrollo.
A través de extensiones como Foundry Toolkit, Visual Studio Code permite trabajar con modelos ejecutados localmente y abre la puerta a construir agentes o herramientas personalizadas.
Aunque esta parte todavía se encuentra en fase de exploración, el objetivo es poder aprovechar los modelos de Foundry Local directamente desde el entorno utilizado para desarrollar aplicaciones, automatizaciones y soluciones empresariales.
Se trata de una línea de trabajo especialmente interesante para quienes utilizan tecnologías Microsoft y buscan incorporar capacidades de inteligencia artificial dentro de sus propias soluciones sin depender completamente de recursos cloud.
¿Tiene sentido apostar por la inteligencia artificial en local?
La conclusión del vídeo es prudente.
La inteligencia artificial ejecutada localmente todavía se encuentra en una fase temprana y probablemente seguirá evolucionando durante los próximos años. Sin embargo, las pruebas realizadas muestran que ya es posible ejecutar determinados modelos en equipos con hardware limitado y obtener resultados útiles para escenarios de negocio reales.
Esto no significa que los servicios cloud vayan a desaparecer. De hecho, herramientas como Copilot siguen ofreciendo un enorme valor gracias a su modelo de tarifa plana y a la cantidad de capacidades disponibles para usuarios y organizaciones.
No obstante, cuando necesitamos procesar documentos de forma masiva o ejecutar procesos recurrentes a gran escala, explorar alternativas locales puede ayudar a controlar costes y aprovechar mejor la infraestructura ya disponible.
Todo apunta a que la evolución del hardware especializado para inteligencia artificial y la optimización de modelos seguirán impulsando este tipo de escenarios mucho antes de lo que muchos esperaban.