La scheda pubblica su Hugging Face presenta LFM2.5-24B-A2B-DSpark come modello draft di decodifica speculativa per LFM2.5-24B-A2B. Il draft propone token che il modello target verifica; la scheda riporta i risultati di throughput su otto dataset e tre livelli di concorrenza. Apri la scheda di LFM2.5-24B-A2B-DSpark.

OrcaRouter ha riferito che il repository è comparso il 19 ottobre 2026.

Come lavora la decodifica speculativa

Il modello draft prepara proposte di token e il modello target le verifica. LFM2.5-24B-A2B-DSpark ha 327,7 milioni di parametri BF16 e un block size di 9 token. Non sostituisce il modello target: la sua funzione è affiancarlo nella generazione.

I risultati variano per dataset e concorrenza

LFM2.5-24B-A2B-DSpark è disponibile su Hugging Face

Liquid AI riporta i rapporti di throughput rispetto a LFM2.5-24B-A2B usato da solo. La tabella raccoglie i valori per ciascun dataset e livello di concorrenza.

DatasetToken per passaggioThroughput relativo, concorrenza 1Throughput relativo, concorrenza 32Throughput relativo, concorrenza 256
MATH-5005,612,63×3,04×1,79×
GSM8K4,461,71×2,56×2,15×
HumanEval4,612,23×2,63×1,64×
MBPP6,703,08×3,28×1,64×
MT-Bench5,772,66×2,47×1,81×
SimpleQA5,222,48×2,91×1,95×
LiveCodeBench4,021,87×2,20×1,34×
AIME4,902,35×2,45×1,36×
Media aritmetica5,162,38×2,69×1,71×

I token per passaggio sono misurati con concorrenza 1 e includono il token bonus del target; il limite indicato è 10. Le differenze tra carichi sono visibili anche a parità di concorrenza: a 32, MBPP arriva a 3,28×, mentre LiveCodeBench è a 2,20×. A 256, il rapporto va da 1,34× per LiveCodeBench a 2,15× per GSM8K. La media da sola non descrive quindi il risultato di ogni dataset.

Condizioni di test e configurazione SGLang

I benchmark pubblicati da Liquid AI sono stati eseguiti su una NVIDIA B300, con il modello target in FP8, cache KV BF16 e temperatura 0. I rapporti misurano il throughput rispetto al target da solo; la scheda precisa che i test valutano le prestazioni, non l’accuratezza dei compiti.

Liquid AI avverte inoltre che le differenze in virgola mobile tra la verifica in batch e la decodifica semplice possono produrre testi diversi, anche con campionamento greedy.

Per la configurazione con SGLang, Liquid AI indica un target FP8, un block size DSpark di 9 e 10 token draft. Serve una versione recente di SGLang con supporto per LFM2-MoE DSpark e per la configurazione nativa di Hugging Face.