LFM2.5-24B-A2B-DSpark: Was die Benchmarks zeigen

LFM2.5-24B-A2B-DSpark ist als öffentliches Modell auf Hugging Face verfügbar. Liquid AI beschreibt es in der Modellkarte als Draft-Modell für LFM2.5-24B-A2B: Es schlägt Tokens vor, die das Zielmodell prüft. Die von Liquid AI veröffentlichten Durchsatzwerte unterscheiden sich je nach Datensatz und Parallelität deutlich.

So arbeiten Draft-Modell und Zielmodell zusammen

Bei der spekulativen Dekodierung erzeugt ein Draft-Modell Vorschläge für den nächsten Token-Block. Das Zielmodell LFM2.5-24B-A2B prüft diese Vorschläge. LFM2.5-24B-A2B-DSpark übernimmt damit eine unterstützende Rolle und ersetzt das Zielmodell nicht.

Die Modellkarte nennt für den Draft 327,7 Millionen Parameter im BF16-Format und eine Blockgröße von 9. Die weiteren technischen Angaben ändern nichts an der zentralen Arbeitsteilung: DSpark macht Vorschläge, LFM2.5-24B-A2B verifiziert sie.

Die Durchsatzwerte nach Datensatz

Liquid AI vergleicht den Durchsatz mit dem Zielmodell allein. Die folgende Matrix zeigt die berichteten Verhältnisse für acht Datensätze bei Parallelität 1, 32 und 256. Die Werte stammen aus Liquid AIs Messungen mit einer NVIDIA B300, einem FP8-Zielmodell, BF16-KV-Cache und Temperatur 0.

Die Unterschiede zwischen den Workloads sind relevant: MBPP erreicht bei Parallelität 32 das höchste ausgewiesene Verhältnis von 3,28×, während LiveCodeBench bei Parallelität 256 auf 1,34× kommt. Der Mittelwert verdeckt diese Spanne. Die Spalte „Tokens pro Schritt“ bezieht sich auf Parallelität 1 und schließt den zusätzlichen Token des Zielmodells ein; als Obergrenze nennt Liquid AI 10.

Die Zahlen messen den Durchsatz, nicht die Aufgabenqualität. Liquid AI weist außerdem darauf hin, dass Gleitkommaunterschiede zwischen gebündelter Verifikation und einfacher Dekodierung zu abweichendem Text führen können, auch bei Greedy-Sampling. Für DSpark nennt die Modellkarte eine Messkonfiguration mit NVIDIA B300; die aufgeführten Durchsatzwerte sind daher keine Messung auf Apple-Silicon-Systemen.

Voraussetzungen für den dokumentierten SGLang-Einsatz

Liquid AI beschreibt eine SGLang-Konfiguration mit dem FP8-Zielmodell, DSpark-Blockgröße 9 und 10 Draft-Tokens. Dafür ist eine aktuelle SGLang-Version mit Unterstützung für LFM2-MoE DSpark und nativer Unterstützung der Hugging-Face-Konfiguration erforderlich. Die Modellkarte von LFM2.5-24B-A2B-DSpark enthält die vollständigen Benchmarkangaben und die Einrichtungsdetails.