En este artículo
Hay una categoría de modelo que casi nadie discute: el que cabe. No el que gana el benchmark, no el que necesita ocho tarjetas, sino el que se instala en la GPU que ya tienes. Mellum 2.1 apunta exactamente ahí: 12B totales, 2,5B activos y un Q4 de 7,52 GB para una tarjeta de 12 GB.
Qué es Mellum 2.1
Mellum 2.1 es la segunda versión del modelo de código de JetBrains: un MoE de 12B parámetros totales con 2,5B activos por token, 64 expertos, 8 activos, 28 capas y 131.072 tokens de contexto. Se distribuye bajo Apache 2.0, lo que elimina la fricción de licencia para uso comercial y permite adaptarlo.
La arquitectura no cambió respecto a Mellum 2. Lo que cambió fue el post-entrenamiento: JetBrains pasó de un ajuste final corto a un proceso de reinforcement learning en entornos reales, con repositorios, shell y herramientas de edición. La promesa es que el modelo no solo complete código, sino que trabaje dentro de un repositorio y verifique sus propios cambios.
Ese detalle importa porque el segmento de 12 GB no necesita otro autocompletado. Necesita un agente que pueda iterar sin que cada intento cueste una fortuna en tokens.
Por qué cabe en 12 GB
Los números oficiales son claros. El Q4_K_M pesa 8,1 GB decimales —7,52 GiB— y es el quant recomendado por JetBrains. El Q6_K sube a 10,9 GB y el Q8_0 a 12,9 GB. Para una tarjeta de 12 GB, el Q4 deja margen para el contexto y los buffers; el Q8 queda justo y probablemente no permita contextos largos.
| Quant | Tamaño | Encaje práctico |
|---|---|---|
| MXFP4_MOE | 7,0 GB | 10–12 GB, margen amplio |
| Q4_K_M | 7,52 GiB | 12 GB, recomendado |
| Q6_K | 10,9 GB | 16 GB, más fidelidad |
| Q8_0 | 12,9 GB | 16 GB ajustado o 24 GB |
| BF16 | 24,3 GB | No recomendado para uso local |
El contexto es más barato de lo que parece porque solo 7 de las 28 capas usan atención completa; las otras 21 tienen ventana deslizante de 1.024 tokens. Según los cálculos publicados, el contexto completo de 131K añade alrededor de 1,9 GB, y 32K alrededor de 0,5 GB. Aun así, son estimaciones: el runtime y los buffers suman.
Los benchmarks y su letra pequeña
JetBrains reporta 47,0 en SWE-bench Verified, 82,0 en LiveCodeBench v6 y 91,5 en HumanEval+. Son números llamativos para un modelo de 12B, y la compañía los presenta como resultado de RL en entornos reales. Pero son benchmarks del fabricante, medidos con su pipeline y sin una reproducción independiente pública al momento de escribir esto.
“The architecture hasn’t changed since version 2: it’s still a compact, fast model with 2.5B active parameters.” — Blog de JetBrains.
La parte honesta es que el salto de Mellum 2 a 2.1 —de 2,0 a 47,0 en SWE-bench Verified— es demasiado grande para aceptarlo sin verificación. Puede ser real: el RL en repositorios reales es exactamente cómo otros modelos dieron saltos similares en 2026. Pero “puede ser” no es “es”.
Además, el 47% no dice cómo se comporta en tu código. Un modelo puede resolver issues de un benchmark y fallar en el estilo, las dependencias o la arquitectura de tu repositorio. La única prueba que importa es la tuya.
Cómo probarlo en tu máquina
La instalación es directa: el GGUF oficial está en Hugging Face y los runtimes lo soportan desde junio de 2026. Para una tarjeta de 12 GB, empieza con Q4_K_M y un contexto de 16K; sube a 32K solo si el margen de VRAM lo permite. En Mac, usa MXFP4 o BF16 si quieres evitar el bug de Metal que veremos abajo.
Define tres tareas antes de descargar: un bug real de tu repositorio, una función nueva con tests y una refactorización pequeña. Mide tiempo total, tokens de razonamiento y si el resultado pasa los tests. Compara contra tu modelo actual en el mismo hardware. Si Mellum no gana en dos de tres, el ahorro de memoria no justifica el cambio.
También mide el arranque en frío y el consumo durante una sesión larga. Un modelo de código que piensa mucho puede ser más lento en total que uno más grande que responde directo. La métrica útil es tiempo hasta el resultado correcto, no tokens por segundo.
El bug de Metal
Hay un issue abierto en llama.cpp —#30579— que reporta NaN en Metal con los quants Q4_K_M, Q6_K y Q8_0. La causa reportada es un overflow en las activaciones que alimentan una capa MoE; el kernel de Metal las stagea como F16 y el valor supera el máximo. El texto generado puede parecer normal porque solo se usa la última fila de logits, lo que hace el fallo más difícil de detectar.
Los workarounds reportados son usar MXFP4 o BF16, reducir el micro-batch o correr en CPU. Si trabajas en Mac y tu flujo depende de Metal, no adoptes Mellum 2.1 sin probar el quant alternativo y verificar la salida en tus tareas.
Cuándo no usarlo
No lo uses si tu tarea principal es razonamiento matemático complejo, si necesitas el mejor rendimiento absoluto en repo-level coding o si trabajas en Mac con Metal y no puedes cambiar de quant. Tampoco si tu GPU tiene 8 GB: el Q4 no deja margen para contexto y buffers.
Y no lo uses solo porque el benchmark dice 47%. Ese número es una señal, no una decisión. La decisión se toma con tus tareas, tu hardware y tu tolerancia a la latencia.
Para seguir leyendo
El anuncio de JetBrains explica el cambio de post-entrenamiento. La model card tiene la arquitectura y los tamaños, y la guía práctica de despliegue documenta el bug de Metal y los workarounds.
Para elegir el modelo según tu VRAM, revisa nuestra guía de 27B–35B. Si tu problema es la latencia, la pieza de speculative decoding te ayuda a medir antes de activar un drafter. Y si estás montando un agente, la guía de presupuesto de razonamiento explica por qué más tokens no siempre es mejor.
Preguntas frecuentes
¿Mellum 2.1 corre en 8 GB?
El archivo Q4 cabe, pero el contexto y los buffers dejan poco margen. Para uso real, 12 GB es el mínimo cómodo.
¿Los benchmarks son independientes?
No. Al momento de escribir esto son del fabricante y no hay una reproducción pública independiente.
¿Debo usar Q8_0 en 16 GB?
Puede funcionar, pero deja menos espacio para contexto. Q4_K_M sigue siendo el punto de partida recomendado.
Mellum 2.1 es interesante por lo que representa: un modelo de código que cabe en la GPU de una persona y que puede trabajar dentro de un repositorio. También es un recordatorio de que “cabe” y “funciona” son dos afirmaciones distintas.
El conocimiento verdadero trasciende a lo público 🌀
Continúa explorando Inteligencia Artificial con piezas relacionadas y evidencia adicional.
Ver relacionados
