El 27 de octubre de 2026, NVIDIA publicó resultados de inferencia MoE en DGX Spark: al activar tres optimizaciones, Ling-3.0-flash-fp4 pasó de 37,81 a 53,89 tokens por segundo en una evaluación de 1.319 preguntas GSM8K, un aumento comunicado del 42,5 %. La prueba sintética de NVIDIA arrojó un 185,1 %, pero con otra carga de trabajo y condiciones distintas.
Qué midió NVIDIA en GSM8K
NVIDIA comparó la línea base con una configuración que combinaba las tres optimizaciones, con tamaño de lote 1. La evaluación usó cinco ejemplos en cada prompt, temperatura 0,6, top-p 0,95, top-k 29, un máximo de 32.768 tokens generados y razonamiento en cadena activado.
Además del rendimiento de decodificación, NVIDIA comunicó una latencia media de 15,21 segundos en la línea base y 11,49 segundos con las optimizaciones. El tiempo medio hasta el primer token fue de 0,207 y 0,214 segundos, respectivamente. Así, el mayor rendimiento de decodificación no se tradujo en un primer token más rápido en esta medición.
Tres cambios en la generación de tokens
Las optimizaciones actúan en partes distintas del proceso. Humming sustituye el backend de kernels MXFP4 para la capa de mezcla de expertos (MoE), que activa expertos especializados según el token. La cuantización FP8 en línea reduce a la mitad las lecturas de pesos del LM head frente a BF16; el LM head es la capa que produce las puntuaciones para elegir el siguiente token. La tercera técnica usa NEXTN para la predicción especulativa de varios tokens (MTP): propone tokens por adelantado y los verifica en una ventana de cuatro, con tres pasos de borrador.
En la configuración descrita, la opción de SGLang SGLANG_ENABLE_FP8_LM_HEAD=1 activa la cuantización FP8 y es incompatible con --enable-fp32-lm-head, usado en la línea base. NVIDIA atribuyó el comportamiento de decodificación de Ling-3.0-flash a un límite de ancho de banda de memoria: leer los pesos del modelo condicionaba la generación de cada token.
El resultado sintético no equivale al de GSM8K
NVIDIA midió 102,88 tokens/s con las tres optimizaciones en una prueba sintética de lote 1, con 32.000 tokens de entrada y 2.000 de salida. La línea base dio 36,09 tokens/s. En GSM8K, el resultado optimizado fue 53,89 tokens/s frente a 37,81. Las condiciones y el tipo de evaluación importan al interpretar ambas cifras:
| Evaluación y condiciones | Línea base | Con las tres optimizaciones | Cambio comunicado por NVIDIA |
| GSM8K: 1.319 preguntas, lote 1, prompts de cinco ejemplos y muestreo | 37,81 tokens/s | 53,89 tokens/s | +42,5 % |
| Sintética: lote 1, 32.000 tokens de entrada, 2.000 de salida y decodificación greedy | 36,09 tokens/s | 102,88 tokens/s | +185,1 % |
La prueba sintética usó decodificación greedy y tuvo una aceptación MTP de 3,90 tokens por ronda; en GSM8K, la aceptación fue de 2,68. NVIDIA advirtió que la salida más repetitiva y fijada en 2.000 tokens favorecía la decodificación especulativa, por lo que el resultado sintético no describe el rendimiento esperado en otras cargas.
El vídeo de Codigo gris explica por qué conviene separar el procesamiento del prompt de la generación de tokens: el primero puede estar limitado por el cómputo, mientras que la segunda puede depender del ancho de banda de memoria. Esa distinción ayuda a elegir mediciones acordes con el trabajo que se quiere ejecutar.
El LM head completo debe compartirse al combinar FP8 y MTP
NVIDIA describió una condición de integración importante: el modelo borrador de MTP debe compartir con el modelo objetivo el módulo completo del LM head, no solo sus pesos. Si el borrador recibe pesos FP8 pero los interpreta como BF16, puede producirse una conversión silenciosa y la aceptación puede caer a 1,00 token por ronda. En ese caso, NVIDIA informó de un rendimiento inferior al de la línea base.
