Recursive hat Flint als KI-Codiermodell mit Gewichten unter der Lizenz Apache 2.0 veröffentlicht. Für den lokalen Einsatz nennt das Modelldokument konkrete Angaben zu Checkpoint und Laufzeit: Der BF16-Checkpoint ist rund 80 GB groß, und die beschriebene SGLang-Konfiguration nutzt pro Replikat eine B300- oder H200-GPU. Recursive führt daneben weitere lokale Laufzeiten auf.

Was in den Modelldaten steht

Flint ist ein sogenanntes Mixture-of-Experts-Modell (MoE): Je Token wird nur ein Teil der Experten aktiviert. Das Modell hat insgesamt 39,8 Milliarden Parameter; pro Token sind es laut Modelldokument etwa 2,5 Milliarden, einschließlich des Ausgabekopfs.

MerkmalVeröffentlichte AngabeGeltungsbereich
Parameter39,8 Mrd. insgesamt; etwa 2,5 Mrd. aktiv je TokenAktive Zahl einschließlich Ausgabekopf
Architektur49 Schichten: 2 dichte und 47 MoE-Schichten35 Schichten nutzen Sliding-Window-Aufmerksamkeit, 14 vollständige Aufmerksamkeit
Experten256 geroutete Experten pro MoE-Schicht; 6 ausgewählte Experten je Token plus ein stets aktiver gemeinsamer ExperteAngaben zur MoE-Architektur
LizenzApache 2.0Gilt für die veröffentlichten Modellgewichte
BF16-CheckpointRund 80 GB DownloadgrößeGilt für den BF16-Checkpoint
SGLangEine B300- oder H200-GPU pro ReplikatBeschriebene SGLang-Konfiguration

Die Modelldokumentation auf Hugging Face führt außerdem llama.cpp, Ollama, Unsloth, LM Studio, vLLM und SGLang als unterstützte Laufzeiten auf. Recursive beschreibt die eigene rec-Laufzeit als für M4 Pro sowie M5 Pro und M5 Max optimiert. Die Modellgewichte stehen unter Apache 2.0; Angaben zur Lizenz der Gewichte sagen für sich genommen nichts über die Bedingungen gehosteter APIs aus.

Zwei Angaben zur Kontextlänge

Die Modelldokumentation nennt eine konfigurierte Kontextlänge von 262.144 Tokens, einschließlich Eingabeaufforderung und erzeugter Ausgabe. Recursive erklärt in seiner Ankündigung, Flint unterstütze Kontexte bis zu 512.000 Tokens, empfiehlt aber, innerhalb von 256.000 Tokens zu bleiben.

Was lokale Tests bei langem Kontext ergaben

AICodeKing testet Recursive Flint mit llama.cpp auf einem M4 Max und zeigt Geschwindigkeitsmessungen bei unterschiedlichen Kontextlängen sowie Coding-Aufgaben. Das Video ist auf Englisch.

Recursive gibt für kurze Kontexte mehr als 125 Tokens pro Sekunde auf einem MacBook Pro mit M4 Pro und mehr als 150 Tokens pro Sekunde auf einem 64-GB-NVIDIA-RTX-Spark-System an. Das sind Herstellerangaben für diese Konfigurationen.

AICodeKing maß in einem eigenen Test mit einem M4 Max und llama.cpp ungefähr 110 Tokens pro Sekunde bei kurzem Kontext, 52 bei 8.000, 32 bei 32.000 und rund 9 bei 115.000 Tokens Kontext. Bei einem Linkverkürzer-API-Test bestand Flint laut AICodeKing alle 14 Testfälle. Das sind Ergebnisse aus konkreten Aufgaben und einer bestimmten Softwarekonfiguration, keine standardisierte Benchmarkreihe.

Welche Rolle KI bei der Entwicklung spielte

Recursive zufolge unterstützte die Eureka Machine fast alle Teile der Modellentwicklung. Menschen legten die Forschungsziele fest, prüften Ergebnisse und konnten den Prozess stoppen. Flint entstand damit mit umfangreicher KI-Unterstützung, während die Forschungsrichtung und Kontrolle bei Menschen lagen.