La revolución de la IA en tu propio ordenador
Hace apenas unos meses, los modelos de lenguaje locales eran poco más que una curiosidad. Pero según el último análisis publicado por Jan-Keno Janssen en el canal c’t 3003, las cosas han cambiado. Hoy, con herramientas como LM Studio y una tarjeta gráfica potente, es posible ejecutar modelos como GPT-OSS 120B o Qwen 3 directamente desde tu PC, con un rendimiento que puede incluso rivalizar con ChatGPT en ciertas tareas.
¿Por qué apostar por modelos locales?
Ejecutar modelos de lenguaje en local no solo mejora la privacidad —los datos no salen de tu máquina—, sino que también te libera de las decisiones de los proveedores comerciales. «La verdad es que me sorprendió mucho cómo han evolucionado los modelos locales.», reconoce Janssen, sorprendido por el progreso de esta tecnología.
Qué necesitas: hardware y memoria
El rendimiento de estos modelos depende en gran parte de la velocidad de transferencia de la memoria. Una NVIDIA RTX 4090 con memoria GDDR6X puede alcanzar más de 40 tokens por segundo con modelos como Mistral Small 3.2, mientras que una CPU moderna sin esa capacidad gráfica apenas llega a 3 tokens por segundo. La clave está en que el modelo quepa entero en la memoria de la GPU.
Pero no todo el mundo puede permitirse una 4090. Alternativas como montar tres RTX 3090 usadas en una workstation permiten manejar modelos de hasta 72 GB, con velocidades superiores a los 50 tokens/segundo. Incluso equipos con AMD Ryzen AI Max+ o MacBooks con chip M3 Max ofrecen resultados sorprendentes por un coste mucho menor que opciones como la NVIDIA DGX Spark, que, pese a su precio, ofrece un rendimiento limitado en inferencia.
Modelos recomendados para empezar
Entre los modelos que mejor rendimiento ofrecen en local destacan:
- Qwen 3 4B (Alibaba): con apenas 2,5 GB, genera código visualmente atractivo y funciona incluso en equipos modestos.
- GPT‑OSS 120B (OpenAI): uno de los más potentes, aunque necesita mucha memoria.
- Mistral Small 3.2: con 24 mil millones de parámetros, ofrece resultados sólidos con menos requerimientos.
La herramienta LM Studio permite gestionar estos modelos de forma sencilla, ajustando parámetros como el GPU offload o la longitud del contexto. Esto último es clave para tareas como la generación de código o el análisis de documentos.
Ventajas frente a la nube
La gran diferencia está en que los datos no se comparten con terceros. Esto permite analizar documentos sensibles, como PDFs personales, sin miedo a que la información termine en servidores estadounidenses. Además, los modelos locales han mejorado tanto que ahora también pueden realizar tareas como el Retrieval-Augmented Generation (RAG), útil para consultas complejas basadas en documentos.
¿Qué viene ahora?
El interés por esta tecnología no para de crecer. «Los modelos de IA locales: ese es un tema enorme para vosotros», dice Janssen, reflejando el entusiasmo de la comunidad. El futuro apunta a una democratización de la inteligencia artificial, donde cualquier persona con un ordenador decente podrá experimentar con modelos avanzados sin depender de la nube.
Por supuesto, aún existen limitaciones. Estos modelos no pueden buscar en internet por sí solos, como hacen ChatGPT o Gemini, aunque ya existen protocolos como Model Context Protocol que intentan resolverlo.
Lo que está claro es que la inteligencia artificial ya no es solo cosa de grandes empresas. Hoy, con algo de conocimiento técnico y el equipo adecuado, es posible tener un modelo de lenguaje potente corriendo en casa. Y eso cambia las reglas del juego.
La fotografía de representación de este artículo pertenece a Nathan Anderson y ha sido publicada en Unsplash
