LFM2.5-24B-A2B-DSpark: publiczna karta i wyniki

Publiczna karta modelu LFM2.5-24B-A2B-DSpark jest dostępna na Hugging Face. Liquid AI opisuje go jako model draft, który proponuje tokeny dla LFM2.5-24B-A2B. W testach firmy średnia przepustowość względem samego modelu docelowego wyniosła 2,38× przy współbieżności 1, 2,69× przy 32 i 1,71× przy 256. Pełna macierz pokazuje, jak te wyniki zmieniają się zależnie od zbioru danych.

Jak działa dekodowanie spekulatywne

Dekodowanie spekulatywne polega tu na podziale pracy między dwa modele: LFM2.5-24B-A2B-DSpark proponuje tokeny, a LFM2.5-24B-A2B je weryfikuje. Model draft ma 327,7 mln parametrów w formacie BF16, a jego rozmiar bloku wynosi 9 tokenów.

Wyniki dla ośmiu zbiorów danych

Liquid AI podaje przepustowość względem generowania przez sam model docelowy. Testy wykonano na jednej karcie NVIDIA B300, z modelem docelowym FP8, pamięcią podręczną KV BF16 i temperaturą 0. Liczba tokenów na krok dotyczy współbieżności 1 i obejmuje dodatkowy token modelu docelowego.

Różnice zależą zarówno od zadania, jak i obciążenia. Przy współbieżności 32 MBPP osiągnął 3,28×, a LiveCodeBench 2,20×. Przy współbieżności 256 najwyższy wynik wśród tych ośmiu zbiorów uzyskał GSM8K, z wartością 2,15×; dla LiveCodeBench było to 1,34×. Średnia nie opisuje więc pojedynczego obciążenia.

Zakres pomiaru i możliwe różnice w tekście

Wyniki dotyczą przepustowości w opisanej konfiguracji. Karta Liquid AI określa te pomiary jako test wydajności, a nie dokładności zadań. Firma ostrzega też, że różnice zmiennoprzecinkowe między przetwarzaniem wsadowym a zwykłym dekodowaniem mogą prowadzić do innego tekstu, również przy zachłannym próbkowaniu.

Wymagania konfiguracji SGLang

Instrukcja Liquid AI dla SGLang łączy model docelowy FP8 z modelem draft, ustawia rozmiar bloku DSpark na 9 i żąda 10 tokenów draft. Konfiguracja wymaga aktualnej wersji SGLang z obsługą LFM2-MoE DSpark oraz natywnej konfiguracji Hugging Face.