LFM2.5-24B-A2B-DSpark ya está disponible en Hugging Face

LFM2.5-24B-A2B-DSpark ya tiene una ficha pública en Hugging Face. Liquid AI lo presenta como un modelo borrador para acelerar la generación de texto junto a LFM2.5-24B-A2B, y publica resultados de rendimiento en ocho conjuntos de datos, medidos con una NVIDIA B300.

Cómo funciona la decodificación especulativa

LFM2.5-24B-A2B-DSpark propone bloques de tokens y el modelo objetivo, LFM2.5-24B-A2B, verifica esas propuestas. El borrador no sustituye al modelo objetivo: participa en el proceso de generación para que este compruebe los tokens propuestos.

La ficha de LFM2.5-24B-A2B-DSpark en Hugging Face especifica 327,7 millones de parámetros BF16 y un tamaño de bloque de 9.

Resultados por conjunto de datos

Liquid AI compara el rendimiento con el modelo objetivo funcionando por sí solo. Los ratios de la tabla corresponden a tres niveles de concurrencia, es decir, a distintas cantidades de solicitudes procesadas a la vez. La columna de tokens por paso se midió con concurrencia 1.

Los promedios esconden diferencias entre cargas: MBPP alcanza un ratio de 3,28× con concurrencia 32, mientras que LiveCodeBench registra 1,34× con concurrencia 256. En la media de los ocho conjuntos, el ratio más alto aparece con concurrencia 32; con 256, el promedio baja a 1,71×.

Qué miden las cifras y cómo se obtuvieron

Liquid AI realizó las mediciones con una NVIDIA B300, el modelo objetivo en FP8, una caché KV en BF16 y temperatura 0. Los ratios expresan rendimiento relativo frente a LFM2.5-24B-A2B sin el modelo borrador. Los tokens por paso incluyen el token adicional del modelo objetivo; la ficha indica un máximo de 10.

La ficha precisa que las mediciones evalúan rendimiento, no precisión en las tareas. También advierte que las diferencias de coma flotante entre la verificación por lotes y la decodificación normal pueden producir textos distintos, incluso con muestreo codicioso. Por tanto, los ratios publicados describen velocidad en esa configuración, no calidad de respuesta ni identidad exacta del texto generado.

Configuración de SGLang

La configuración de SGLang descrita por Liquid AI combina el modelo objetivo FP8 con LFM2.5-24B-A2B-DSpark, establece el tamaño de bloque en 9 y solicita 10 tokens de borrador. La ficha indica que hace falta una versión reciente de SGLang con soporte para LFM2-MoE DSpark y configuración nativa de Hugging Face.