OpenAI Jalapeño ist ein gemeinsam mit Broadcom entwickelter ASIC für die Inferenz großer Sprachmodelle – also für das Ausführen trainierter Modelle und das Erzeugen von Antworten. In ausgewählten InferenceX-Vergleichen meldet OpenAI 1,5- bis 1,9-mal mehr Leistung pro Watt und 1,7- bis 3,6-mal niedrigere End-to-End-Latenz als bei bestimmten Nvidia-GB200- und GB300-Systemen. Das macht den Chip interessant, ist aber kein Beleg dafür, dass Nvidia als Plattform ersetzt wäre.
Was Jalapeño ist
Ein ASIC (Application-Specific Integrated Circuit) wird für einen eng umrissenen Zweck gebaut. Bei Jalapeño ist das die Inferenz von Large Language Models (LLMs): Viele Anfragen sollen möglichst schnell und mit möglichst wenig Energie beantwortet werden.
Das unterscheidet den Chip von einem vielseitiger ausgelegten Beschleuniger. Nvidia-Systeme übernehmen bei OpenAI weiterhin wichtige Aufgaben – insbesondere beim Training, aber auch bei der Inferenz. Jalapeño ist deshalb als Ergänzung gedacht, nicht als kompletter Austausch der bestehenden Infrastruktur.
Der wirtschaftliche Hebel liegt bei der Menge: Wenn ein Rechenzentrum ständig Tokens für Millionen von Anfragen erzeugt, schlagen Watt, Speicherzugriffe und Wartezeit direkt auf die Betriebskosten durch. Schon kleine Verbesserungen pro Antwort können sich auf Clusterebene summieren.
Die Architektur hinter der Latenz
Die veröffentlichte technische Beschreibung nennt für Jalapeño ein 700-W-Paket, HBM4-Speicher und eine Speicherbandbreite von bis zu 15,4 TB/s. Die Architektur ist in 64 Rechen- und Speicherscheiben gegliedert. Jede Core-Slice arbeitet dabei mit einer lokalen HBM-Scheibe in einer NUMA-ähnlichen Organisation zusammen.
Das ist mehr als eine beeindruckende Spezifikationsliste. Bei der Inferenz muss der Beschleuniger Modellparameter und Zwischenergebnisse ständig bewegen. Eine eng an die Recheneinheiten gekoppelte Speicherstruktur kann diese Wege verkürzen und die Daten gezielter platzieren.
Für den Verbund beschreibt OpenAI ein eigenes Netzwerk für kollektive Operationen mit niedriger Latenz sowie ein getrenntes allgemeines Network-on-Chip. Auf Rack-Ebene soll Jalapeño mit bis zu 128 Beschleunigern skalieren; ein Pod mit 16 Racks soll bis zu 2.048 ASICs aufnehmen können. Das zeigt, worauf der Entwurf zielt: nicht auf eine einzelne spektakuläre Karte, sondern auf berechenbares Verhalten im großen Verbund.
Was die Benchmarks tatsächlich zeigen
Die veröffentlichten InferenceX-Ergebnisse beziehen sich auf drei Modelle: GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T. OpenAI vergleicht dabei konkrete Jalapeño-Konfigurationen mit Nvidia GB200 oder Nvidia GB300 und normalisiert einen Teil der Werte auf die Paketleistung.
Bei der maximalen Leistung pro Watt meldet OpenAI folgende Ergebnisse:
- GPT-OSS 120B: 85.448 gegenüber 44.960 gemischten Tokens/s/kW eines Nvidia GB200 – ungefähr 1,9-mal mehr.
- DeepSeek R1 670B: 19.641 gegenüber 11.781 gemischten Tokens/s/kW eines Nvidia GB300 – ungefähr 1,7-mal mehr.
- Kimi K2.5 1T: 18.195 gegenüber 11.862 gemischten Tokens/s/kW eines Nvidia GB300 – ungefähr 1,5-mal mehr.
Auch beim Decoding pro Nutzer liegen die veröffentlichten Jalapeño-Werte vorne: 1.459 gegenüber 535 Tokens/s/Nutzer bei GPT-OSS 120B, 700 gegenüber 169 bei DeepSeek R1 670B und 694 gegenüber 182 bei Kimi K2.5 1T.
Die Einordnung ist entscheidend. Ein Wert wie 104,3-mal mehr Durchsatz bezieht sich auf einen Betriebspunkt, an dem das Nvidia-System auf minimale Latenz optimiert wurde. Er bedeutet nicht, dass Jalapeño im gesamten Einsatz 104,3-mal schneller ist. Benchmarks haben manchmal eine sehr lange Fußnote – und genau dort wohnt die Wahrheit.
Die ausgewählten Läufe wurden im OpenAI-Labor beobachtet, die numerischen Ergebnisse stammen jedoch von OpenAI. Eine vollständige InferenceX- und AgentX-Auswertung wurde nicht durchgeführt. Die Zahlen sind daher ein starkes Signal für die von OpenAI gewählten Inferenzszenarien, aber kein universelles Urteil über jede Modellgröße, jeden Kontext und jeden Cluster.
Software, Modelle und Hardware aus einem Guss
Jalapeños möglicher Vorteil entsteht nicht allein im Silizium. OpenAI kontrolliert zugleich die Modelle, die Laufzeitumgebung und große Teile der Infrastruktur. Die Software kann Datenplatzierung, Kernel und Scheduling auf die eigenen Modelle und deren typische Zugriffsmuster abstimmen.
Dafür nutzt OpenAI die Programmierumgebung Gluon, die auf Abstraktionen aus dem Triton-Umfeld aufbaut. Die eigenen Modelle und Codex unterstützten laut OpenAI außerdem die Designoptimierung, Kernel-Entwicklung, Datenplatzierung und Ablaufplanung. Das ist KI-gestützte Entwicklungsarbeit – kein vollständig autonom erzeugter Chip. Architektur, Verifikation, Tests und Validierung bleiben Ingenieursaufgaben.
Der Preis dieser Spezialisierung ist geringere Allgemeinheit. Ein System, das besonders gut zu OpenAIs Modellen und Diensten passt, lässt sich nicht automatisch auf beliebige Modelle, Frameworks oder Kundenumgebungen übertragen. Nvidia punktet hier mit der breiteren CUDA-Softwarelandschaft und einer größeren Flexibilität.
Von RTL zu Silizium in neun Monaten
Für den eigentlichen Hardwareabschnitt nennt OpenAI eine bemerkenswert kurze Abfolge: Die ersten RTL-Arbeiten begannen im Februar 2025, im November 2025 erreichte Jalapeño den Tape-out, und im Mai 2026 lag das erste Silizium vor. Die neun Monate beziehen sich damit auf den Weg von den ersten RTL-Arbeiten bis zum Tape-out – nicht auf die gesamte Entstehung des Projekts.
Am 24. Juni 2026 stellte OpenAI Jalapeño gemeinsam mit Broadcom öffentlich vor. Die ersten gemessenen Leistungswerte folgten am 25. August 2026. OpenAI plant, den Chip bis Ende 2026 in der eigenen Recheninfrastruktur einzusetzen; für 2027 ist ein weiterer Produktionshochlauf vorgesehen. Das sind Pläne, keine abgeschlossene breite Verfügbarkeit.
Jalapeño ergänzt Nvidia – und ersetzt Nvidia nicht
Die klare Antwort lautet: Nein, Jalapeño ersetzt Nvidia nicht. OpenAI will Nvidia- und andere Partnerbeschleuniger weiterhin für Training und Inferenz einsetzen. Der neue ASIC soll vor allem dort helfen, wo sich eine maßgeschneiderte Plattform bei Kosten, Energieverbrauch und Antwortzeit auszahlt.
Hinzu kommt eine wichtige Grenze der veröffentlichten Gegenüberstellung: Verglichen wurden ausgewählte Nvidia-GB200- und GB300-Systeme. Nvidia Vera Rubin war in diesem Vergleich nicht enthalten. Aus den Zahlen lässt sich deshalb weder ein direkter Vera-Rubin-Vergleich noch ein allgemeiner Vorsprung gegenüber jeder Nvidia-Generation ableiten.
Auch für komplexe Agenten-Workflows reichen die veröffentlichten Ergebnisse nicht aus. Lange Kontexte, mehrstufige Interaktionen und wechselnde Speicherzugriffe können einen Cluster anders belasten als ein klar abgegrenzter InferenceX-Test. Genau hier entscheidet sich später, ob die Effizienz auch im praktischen Dauerbetrieb trägt.
Das Fazit
Jalapeño ist OpenAIs Versuch, die teuerste und am schnellsten wachsende Phase moderner KI-Dienste – das laufende Erzeugen von Antworten – mit eigener Hardware effizienter zu machen. Die gemeldeten Ergebnisse gegen ausgewählte Nvidia-GB200- und GB300-Systeme sind beachtlich, bleiben aber an bestimmte Modelle, Messgrößen und Betriebspunkte gebunden.
Die größere Bedeutung liegt daher in der vertikalen Optimierung: OpenAI kann Modelle, Software, Speicherzugriffe und Beschleuniger gemeinsam entwerfen. Nvidia bleibt dabei Teil der Flotte. Jalapeño ist weniger der große Umsturz als ein zusätzlicher, sehr spezialisierter Baustein in OpenAIs Infrastrukturstrategie.
