En este artículo

Ocho GPU NVIDIA GB300 y dos cifras muy distintas: unos 3 contextos completos de un millón de tokens frente a unos 36. Así presenta vLLM la diferencia de capacidad de caché entre dos configuraciones de Kimi K3.1 Pro. No son 36 usuarios garantizados ni una mejora equivalente de velocidad. Los pesos abiertos de Kimi K3.1 Pro permiten examinar y desplegar el modelo, pero servirlo exige leer tres cosas por separado: infraestructura, condiciones de medición y licencia.[3]
En corto: Moonshot declara 2,8 billones de parámetros totales —2.8T en la ficha—, 104.000 millones activos y 1.048.576 tokens de contexto. El repositorio lista 96 fragmentos de pesos; aquí no se descargaron ni se verificó su tamaño completo. El despliegue documentado por vLLM usa ocho GPU y una licencia propia añade condiciones que no deben confundirse con el precio de una API.[2]
Qué se publicó y qué prueba el repositorio
Moonshot presenta K3.1 Pro como el primer modelo de su serie K3.1 y como una versión post-entrenada de Kimi K3. La tarjeta del repositorio oficial describe un modelo multimodal de mezcla de expertos, o MoE, que recibe texto e imágenes y produce texto. Su ventana declarada es de 1.048.576 tokens; eso no mide por sí solo la calidad al recuperar un dato situado al final de un documento largo.[1]
El anuncio prometía liberar los pesos completos para el 4 de noviembre de 2026. La captura posterior de la API de Hugging Face enumera 96 archivos safetensors y registra una última modificación del 5 de noviembre. Una fecha de modificación no demuestra cuándo apareció el primer archivo ni si se cumplió aquel plazo. Tampoco el listado certifica la descarga e integridad de cada fragmento.[4]
| Modelo | Parámetros totales | Activos por token | Contexto declarado | Memoria y velocidad propias |
|---|---|---|---|---|
| Kimi K3.1 Pro | 2,8 billones, declarados | 104.000 millones | 1.048.576 tokens | n/d: sin ejecución propia |
| Kimi K3, referencia del cambio | 2,8 billones en la tabla de vLLM | n/d en esa comparación | 1M en la tabla de vLLM | n/d: sin ejecución propia |
La ficha declara pesos MXFP4 y activaciones MXFP8. No convertimos los contadores por tipo de dato de una API en un tamaño de descarga certificado: antes habría que comprobar cómo representan los pesos empaquetados. Esa diferencia evita que una ficha técnica termine convertida en una cifra de terabytes sin verificar.[2]
Pesos, caché y memoria de trabajo: tres cuentas distintas
El número de parámetros activos describe una parte del cálculo por token; no es un presupuesto completo de memoria. Para evaluar el despliegue conviene separar tres partidas. La primera son los pesos que el motor necesita almacenar o tener accesibles. La segunda es el estado de las solicitudes, incluida la caché KV. La tercera son los buffers y espacios de trabajo del motor. El reporte de vLLM muestra precisamente que modificar la organización de la caché cambia cuántos contextos puede mantener una misma plataforma.[3]
| Cuenta | Pregunta que responde | Lo que sabemos aquí |
|---|---|---|
| Archivos de pesos | ¿Qué hay que obtener y almacenar? | 96 fragmentos enumerados; tamaño total e integridad de la descarga, n/d. |
| Caché y estado de solicitudes | ¿Cuánto contexto puede conservar la configuración? | vLLM reporta capacidad para recetas concretas en ocho GB300. |
| Trabajo del motor | ¿Qué espacio y comunicaciones requiere ejecutar? | Depende de la ruta; la memoria propia no se midió. |
La lectura sobre modelos open-weight de frontera cubre el problema general de escala. Aquí la cuestión adicional es qué consume el contexto cuando el modelo ya está servido. Poder alojar los pesos y poder sostener varias solicitudes largas son decisiones relacionadas, pero no idénticas.
Qué cambia con la atención dispersa
La tarjeta declara 69 capas KDA y 24 capas Gated DSA. Explica que, frente a Kimi K3, reemplaza las capas de atención completa Gated MLA por Gated DeepSeek Sparse Attention. Por eso tampoco sería preciso decir que el post-entrenamiento no incluye cambios de atención: la documentación señala un cambio concreto en esas capas.[2]
Según vLLM, el indexador puntúa los tokens previos y selecciona los 2.048 mejor clasificados; la atención MLA trabaja entonces sobre los estados latentes seleccionados. No significa que el sistema ignore todo el contexto antes de seleccionar. El indexador recorre las claves, y esas claves constituyen otra caché por token, además del estado latente.[3]
DCP8: más caché no equivale a más velocidad
El paralelismo tensorial, TP, reparte cómputo, pero en la configuración descrita replica el estado latente MLA y las claves del índice en cada GPU. El paralelismo de contexto durante decodificación, DCP, distribuye la caché por tokens. Esa distinción explica por qué añadir GPU no multiplica automáticamente la capacidad de contexto bajo una receta que sigue replicando el estado.[3]
«DCP gana capacidad de KV a cambio de latencia por paso».
| Configuración | Contextos completos de 1M, aproximadamente | Qué cambia |
|---|---|---|
| TP8 con FP8 | 3 | Configuración de referencia. |
| Latente NVFP4, claves MXFP4 y DCP8 | 36 | Cambian tanto los formatos de caché como su reparto. |
Las dos filas no aíslan una mejora de DCP por sí solo. Tampoco cuentan personas reales: expresan capacidad de caché para contextos completos bajo aquellas condiciones. Si el contexto ya cabe y hay poca concurrencia, el propio artículo señala que TP puede decodificar más rápido. Para decidir, hay que conocer si el límite está en capacidad, latencia o ambas.[3]
Cómo leer las cifras de latencia y throughput
vLLM informa hasta 375,9 tokens por segundo por usuario en el extremo sensible a latencia de AgentX, y 37.800 tokens por segundo totales por GPU en el extremo de throughput. Son dos puntos distintos de la curva. No significan que cada usuario mantenga la primera velocidad mientras cada GPU entrega simultáneamente la segunda.[3]
La figura de GB300 declara cuatro tokens especulativos y una longitud de aceptación sintética de 3,36 tokens. Ese detalle limita cómo trasladar el resultado a una aplicación: no es una medición propia del comportamiento de aceptación de tus prompts. Tampoco se deben atribuir esas velocidades, sin más, a solicitudes de un millón de tokens.[3]
La distinción entre esperar el primer token y recibir los siguientes también importa. El reporte separa prefill y decodificación, con optimizaciones diferentes. Para una prueba útil conviene conservar longitud de entrada, salida, concurrencia, variante del motor y límites de tiempo. Es la misma disciplina práctica de medir antes de enviar, no una invitación a comparar cifras de tablas incompatibles.
La licencia: dos umbrales y excepciones importantes
Los pesos abiertos de Kimi K3.1 Pro se distribuyen bajo la Kimi K3.1-Pro License, no bajo MIT ni Apache. El texto define como Software los pesos, parámetros, configuraciones, código de inferencia y entrenamiento y documentación asociados. Concede permisos amplios, pero sujetos a sus condiciones; esa definición no licencia por arrastre cualquier dependencia externa o servicio que se añada.
El apartado 2 define MaaS como dar a terceros acceso a inferencia o ajuste con control significativo sobre entradas, parámetros o datos de entrenamiento. Excluye de esa definición los productos finales con capacidades del modelo únicamente embebidas en funciones o herramientas específicas y la mera retransmisión de solicitudes a modelos alojados por otros. La palabra API por sí sola no sustituye leer esa definición.[5]
| Apartado | Condición resumida | Consecuencia descrita |
|---|---|---|
| 2: actividad MaaS | El licenciatario o afiliados operan MaaS y sus ingresos agregados superan USD 20 millones durante cualquier período de 12 meses consecutivos. | Acuerdo separado con Moonshot antes de usar el Software o derivados con cualquier fin comercial. |
| 3: identificación en interfaz | Producto o servicio comercial con más de 100 millones de usuarios activos mensuales, o más de USD 20 millones de ingresos mensuales. | Mostrar prominentemente «Kimi K3.1-Pro» en su interfaz. |
| 4: excepciones a 2 y 3 | Uso interno según la definición del texto, o acceso mediante productos oficiales de Moonshot o socios de inferencia certificados. | Las exigencias de esos dos apartados no se aplican en los supuestos definidos. |
Para la excepción de uso interno, el texto exige que no se pongan a disposición de terceros el Software, sus salidas ni sus capacidades subyacentes. Las excepciones se refieren a los apartados 2 y 3; no borran el resto del documento. Siguen siendo relevantes, por ejemplo, la conservación de avisos y la provisión sin garantías. Esta es una lectura del texto, no una determinación jurídica sobre un negocio concreto.[5]
La guía sobre la letra pequeña de las licencias de IA aporta el marco general. En este caso, la lectura decisiva es el archivo del artefacto y los términos separados de los componentes o servicios que efectivamente se utilicen.
Qué contiene la receta de despliegue
El inicio rápido publicado por vLLM contiene esta invocación para NVIDIA, reordenada sólo en su presentación tipográfica. Es una receta documentada, no ejecutada aquí, y no una instalación completa: la imagen y los detalles multinodo deben consultarse en la receta enlazada por el proveedor. No se ha establecido un mínimo universal de ocho GPU para cualquier implementación; ésa es la configuración de esta referencia.[3]
vllm serve moonshotai/Kimi-K3.1-Pro \
--tensor-parallel-size 8 \
--trust-remote-code \
--load-format fastsafetensors \
--enable-auto-tool-choice \
--tool-call-parser kimi_k3 \
--reasoning-parser kimi_k3 \
--speculative-config '{"model":"Inferact/Kimi-K3.1-Pro-DSpark-preview","num_speculative_tokens":5,"method":"dspark","draft_sample_method":"probabilistic"}'--trust-remote-code permite ejecutar código del repositorio: no es un mero ajuste de rendimiento. Antes de usarlo hay que revisar procedencia, fijar la revisión y aislar el entorno. El comando también incorpora un especulador preview, distinto del modelo principal, cuyos artefactos y términos deben revisarse por separado. Los cinco tokens especulativos de esta invocación tampoco son los cuatro declarados en la figura AgentX.[3]
Si accedes mediante un proveedor, conserva el identificador y la variante realmente servidos, además de la configuración. Verificar qué modelo respondió sigue siendo necesario aunque el nombre comercial coincida.
Benchmarks del autor, no un campeonato universal
Moonshot informa 65,7% en Terminal-Bench 4.0. La tarjeta aclara que evalúa K3.1 Pro con Claude Code y que varios resultados de comparación proceden de blogs o del leaderboard, seleccionando máximos reportados. Eso no es un experimento controlado donde todos los modelos se ejecutaron aquí con el mismo entorno.[2]
| Modelo en la tabla del autor | Terminal-Bench 4.0 | Lectura permitida |
|---|---|---|
| Kimi K3.1 Pro | 65,7% | Resultado informado por Moonshot. |
| GPT-6 Astra | 58,2% | Comparación recopilada por Moonshot, no corrida propia. |
| Claude Opus 5.5 | 66,4% | Comparación recopilada por Moonshot, no corrida propia. |
El informe también incluye benchmarks internos y otros con herramientas, métricas y reglas diferentes. Un porcentaje de éxito no se suma a un Elo ni equivale a throughput. Para elegir un modelo de trabajo, importa comprobar la tarea y su entorno, como explica la distinción entre modelo, interfaz y agente.
Qué conviene comprobar antes de elegir una ruta
La decisión puede organizarse en tres preguntas, sin inventar una factura de inferencia que no se ha calculado:
- ¿Necesitas desplegar los pesos? Comprueba la revisión, los archivos y la configuración de infraestructura antes de reservar una descarga o un clúster.
- ¿Necesitas realmente ese contexto? Mide la carga de tu aplicación y distingue capacidad de caché, tiempo al primer token y velocidad de salida.
- ¿Qué actividad permite la licencia aplicable? Separa el artefacto principal, el motor, el especulador y el servicio, sin convertir una excepción concreta en permiso universal.
No hay aquí una tarifa de API verificada, un coste horario de ocho GB300 ni una corrida propia con K3.1 Pro. La conclusión útil no es «lo más grande gana»: es que acceso a pesos, capacidad de servicio y permiso de uso necesitan pruebas distintas.
Fuentes y siguientes lecturas
- Moonshot: anuncio de Kimi K3.1 Pro.
- Tarjeta del modelo y notas de evaluación.
- vLLM: atención, caché, DCP y resultados de serving.
- Metadatos y listado del repositorio.
- Texto de la Kimi K3.1-Pro License.
Antes de elegir un proveedor o desplegar el modelo, contrasta tu caso con esas condiciones; las cifras de un anuncio no reemplazan una prueba de tu carga.
Seguir leyendo
- Modelos locales de 27B–35B: cuánto ocupan y cuándo compensa usarlos
- Speculative decoding y MTP: cómo saber si aceleran tu LLM local
- Razonamiento local: cómo ajustar el presupuesto sin perder la respuesta
Preguntas frecuentes
¿Kimi K3.1 Pro usa MIT o Apache?
No. El repositorio publica la Kimi K3.1-Pro License, una licencia propia con condiciones. Tener pesos abiertos no convierte el artefacto en MIT o Apache ni licencia automáticamente componentes externos.
¿Cuánto ocupa y cuánta VRAM necesita?
El tamaño completo descargable y la VRAM de una ejecución propia son n/d. La tarjeta declara 2,8 billones de parámetros y pesos MXFP4; los contadores por tipo de dato no se convierten aquí en bytes certificados sin auditar su empaquetado.
¿Los 36 contextos de 1M equivalen a 36 usuarios?
No. Es capacidad de caché reportada por vLLM en ocho GB300 con latente NVFP4, claves MXFP4 y DCP8. No garantiza usuarios simultáneos, calidad o latencia para cualquier carga.
¿Los umbrales de USD 20 millones usan el mismo período?
No. El apartado MaaS usa ingresos agregados del licenciatario y afiliados durante cualquier período de 12 meses consecutivos. La regla de identificación en interfaz usa ingresos mensuales del producto o servicio, o su umbral de usuarios activos mensuales.
¿Hay excepciones a las condiciones MaaS y de interfaz?
Sí. El apartado 4 exceptúa de las exigencias de los apartados 2 y 3 el uso interno según su definición y el acceso mediante productos oficiales de Moonshot o socios de inferencia certificados. No elimina las demás condiciones del documento.
El conocimiento verdadero trasciende a lo público 🌀
Continúa explorando Inteligencia Artificial con piezas relacionadas y evidencia adicional.
Ver relacionados



