En este artículo
Durante años, decir “2 bits” en una conversación de modelos locales sonaba a disculpa. Sonaba a “no me alcanza la GPU”. En octubre de 2026, NVIDIA publicó un GGUF de 2 bits como artefacto oficial, JetBrains puso un modelo de código en 12 GB y un MoE de 9B aterrizó en 8 GB. La disculpa se convirtió en formato.
Qué cambió en octubre
El 15 de octubre, NVIDIA presentó Nemotron 3.5 Bolt: un híbrido Mamba-Transformer de 74B totales y 9B activos, con expertos cuantizados a IQ2_XXS —2,0625 bits por parámetro— y un GGUF oficial de 22,02 GB para caber en una GPU de 24 GB. No es un quant de comunidad publicado en un foro: es el checkpoint que el fabricante benchmarkeó y distribuyó.
La misma semana, JetBrains puso Mellum 2.1 en Hugging Face con un Q4_K_M de 7,52 GB para 12 GB, y el rundown de modelos locales de octubre registró un MoE de 9B con Q4 de 5,84 GB para tarjetas de 8 GB. Tres escalones, tres precios, una misma dirección: los modelos se están diseñando para el hardware que la gente tiene, no para el que le gustaría tener.
El cambio no es solo de tamaño. Es de expectativa. Cuando el 2 bits aparece en la model card, el comprador deja de preguntar “¿cuánto pesa?” y empieza a preguntar “¿qué se perdió?”.
Por qué 2 bits y no 4
La intuición dice que un modelo más pequeño a 4 bits debería ser mejor que un modelo más grande a 2 bits. NVIDIA argumenta lo contrario: para un presupuesto de memoria fijo, comprimir un modelo grande a muy pocos bits puede ser más Pareto-óptimo que entrenar uno pequeño a más bits. La razón es que la capacidad del modelo —su número de parámetros— captura más conocimiento del que pierde la cuantización agresiva, siempre que se recupere con destilación consciente de cuantización.
Eso no significa que el 2 bits sea gratis. El propio reporte lo dice sin rodeos: la cuantización es agresiva y con pérdida por diseño. Lo que se gana es un modelo de 74B en 24 GB; lo que se paga es precisión en tareas que dependen de matices, y un margen de error que solo se mide con tus propios casos.
“This quantization is lossy by design.” — Reporte técnico de Nemotron 3.5 Bolt.
Tres modelos, tres tiers
| Tier | Modelo | Quant / tamaño | Qué esperar |
|---|---|---|---|
| 8 GB | MoE denso de 9B | Q4_K_M · 5,84 GB | Modelo general y código ligero; contexto corto |
| 12 GB | Mellum 2.1 (12B / 2,5B activos) | Q4_K_M · 7,52 GB | Código agéntico con 131K de contexto; bug de Metal pendiente |
| 24 GB | Nemotron 3.5 Bolt (74B / 9B activos) | IQ2_XXS · 22,02 GB | Agentes de contexto largo; 2 bits con pérdida |
La tabla esconde la parte importante: el tamaño del archivo no es la memoria que necesita el runtime. Hay que sumar el contexto, el KV cache, la pila de visión si la hay y el espacio de trabajo. Un modelo de 22 GB en una tarjeta de 24 GB deja muy poco margen; la diferencia entre “carga” y “carga con 128K de contexto” puede ser la diferencia entre funcionar y no funcionar.
Cómo leer “cabe en 24 GB”
Cuando una model card dice “fits 24 GB”, casi siempre significa “cabe con el quant que el fabricante benchmarkeó y con el contexto que usó en esa prueba”. No significa que quepa con Q4_K_M, ni con 256K de contexto, ni con visión activada. La frase es una condición, no una garantía.
La forma práctica de leerla es hacer tres cuentas. Primero, el tamaño del archivo. Segundo, el KV cache por token: depende de capas, cabezas y precisión; en un modelo híbrido con atención de ventana deslizante, no todas las capas crecen igual. Tercero, los buffers de ejecución y, si hay visión, el proyector. Si la suma supera la VRAM, el modelo no “cabe” aunque el archivo sí.
Para el tier de 12 GB, Mellum 2.1 es un buen ejemplo: 7,52 GB de pesos más aproximadamente 1,9 GB de KV para 131K según los cálculos publicados, antes de buffers. Cabe, pero justo. Para el de 24 GB, Nemotron es el caso opuesto: 22 GB de pesos dejan dos gigabytes para todo lo demás, así que el contexto práctico es menor que el máximo teórico.
Qué se pierde al comprimir
La pérdida no es uniforme. Los modelos MoE toleran mejor la cuantización de expertos que la de capas de atención; por eso Nemotron mantiene Mamba en NVFP4 y el embedding en Q8_0. Mellum, en cambio, es un MoE más convencional y su Q4_K_M conserva el 88% de coincidencia de token superior frente al BF16, según JetBrains. Ese número no mide razonamiento: mide cuántas veces el siguiente token coincide en una prueba de texto.
En tareas de código, la pérdida se nota en los detalles: un import mal elegido, una condición de borde olvidada, una API que ya no existe. En tareas de lenguaje, se nota en la capacidad de mantener matices y en la resistencia a alucinar. La única forma honesta de saberlo es correr tu propio set de tareas y comparar contra el modelo grande que ya usas.
Cómo probarlo en casa
Antes de descargar 22 GB, define tres tareas que ya sepas resolver con tu modelo actual: una de código, una de razonamiento y una de contexto largo. Ejecuta las tres con el modelo nuevo en el mismo hardware y con el mismo prompt. Registra latencia, tokens de salida y errores. Si el modelo nuevo no mejora ninguna y pierde en dos, el ahorro de memoria no compensa.
También conviene medir el arranque en frío. Un modelo que tarda dos minutos en cargar cambia por completo la experiencia de un agente que reinicia sesiones. Y si vas a usar contexto largo, prueba el peor caso: el que llena la ventana con documentos reales, no con texto de relleno.
La decisión final no es “2 bits sí o no”. Es “este modelo, en este quant, con este contexto, para esta tarea”. Todo lo demás es marketing con números.
Para seguir leyendo
El reporte técnico de Nemotron 3.5 Bolt detalla la compresión y la cuantización consciente de cuantización. La model card de Mellum 2.1 publica los tamaños de cada quant, y el rundown de modelos locales de octubre compara los tres tiers con una tabla útil.
Para elegir con más contexto, revisa nuestra guía de 27B–35B y la guía de presupuesto de razonamiento. Si tu cuello de botella es la velocidad y no la memoria, la pieza de speculative decoding y MTP explica qué medir antes de activar un drafter.
Preguntas frecuentes
¿El 2-bit es seguro para producción?
Depende de la tarea y del modelo. Es una cuantización con pérdida; hay que medirla con casos propios y mantener una alternativa de más bits para tareas críticas.
¿Por qué el archivo pesa menos que la VRAM que necesita?
Porque el runtime suma contexto, KV cache, buffers y, si aplica, visión. El archivo es solo el punto de partida.
¿Puedo usar 256K de contexto en 24 GB?
No automáticamente. El máximo teórico y el máximo práctico dependen del KV cache y del margen que deje el modelo. Verifica con tu runtime.
Octubre no cerró el debate de la cuantización. Lo hizo más interesante: ahora hay modelos grandes en tarjetas pequeñas y una obligación nueva —leer la letra pequeña antes de descargar.
El conocimiento verdadero trasciende a lo público 🌀
Continúa explorando Inteligencia Artificial con piezas relacionadas y evidencia adicional.
Ver relacionados
