INT21 twierdzi, że jej rój agentów przygotował w około godzinę runtime inferencyjny w Rust dla Drama 3, modelu generowania mowy firmy Fish Audio. Oprogramowanie służy do uruchamiania modelu. W teście opisanym przez INT21 poradziło sobie lepiej niż SGLang-Omni w trzech próbach na dwóch kartach NVIDIA B200 na konfigurację.
Jak agenci mieli przygotować runtime
Bing Xu, CEO i założyciel INT21, przedstawił tę relację w wywiadzie opublikowanym 25 października 2026 r. Według firmy jej agenci wygenerowali warianty kodu, testowali je na docelowym sprzęcie i zachowywali zmiany, które przechodziły testy. Inżynierowie określali ograniczenia, sprzęt i kryteria akceptacji.
INT21 opisuje runtime jako skompilowane oprogramowanie w Rust, bez interpretera Pythona w ścieżce obsługi. Firma przypisuje agentom pracę nad istniejącym modelem Drama 3, a nie jego trenowanie.
Co zmierzono w trzech próbach
INT21 podała wyniki dla promptów „Hello”, „Multiple sentences” i „Voice reference”. Każda konfiguracja korzystała z dwóch kart NVIDIA B200: jednej do generowania mowy, drugiej do kodeka. Test obejmował jeden strumień mowy, pierwszy fragment o długości 1 klatki i 20 prób rozgrzewkowych na prompt.
Czas do pierwszego audio oznaczał oczekiwanie na pierwszy fragment mowy, a przepustowość liczbę wygenerowanych klatek audio na sekundę. Współczynnik czasu rzeczywistego jest niższy, gdy wynik jest korzystniejszy.
| Prompt | Runtime | Czas do pierwszego audio (ms) | Przepustowość (klatki audio/s) | Współczynnik czasu rzeczywistego |
| Hello | INT21 Rust | 15,11 | 223,4 | 0,0964 |
| Hello | SGLang-Omni | 37,79 | 136,9 | 0,1573 |
| Multiple sentences | INT21 Rust | 17,55 | 249,2 | 0,0864 |
| Multiple sentences | SGLang-Omni | 38,61 | 154,9 | 0,1390 |
| Voice reference | INT21 Rust | 23,58 | 231,0 | 0,0932 |
| Voice reference | SGLang-Omni | 38,03 | 145,4 | 0,1481 |
W każdej z trzech prób runtime INT21 miał krótszy czas do pierwszego audio, wyższą przepustowość i niższy współczynnik czasu rzeczywistego niż SGLang-Omni. Są to wyniki pojedynczego strumienia na dwóch NVIDIA B200. Porównanie obejmuje całe runtime’y, więc nie rozdziela wpływu usunięcia Pythona od pozostałych różnic między implementacjami.
Drama 3 uruchomiono lokalnie także przez SGLang Omni na NVIDIA DGX Spark. Tonbi’s AI Garage pokazało na tym systemie klonowanie głosu i sterowanie sposobem mówienia. To odrębna konfiguracja od runtime’u Rust opisanego przez INT21.
