Een bericht van 2 oktober meldde dat OpenAI Jalapeño intern inzet naast AMD EPYC Turin-host-CPU’s. Jalapeño is de inference-ASIC; de EPYC-processors vormen de hostlaag die met de accelerators is gekoppeld.
De rol van AMD EPYC Turin in het Jalapeño-systeem
Een ASIC is een chip die voor een specifieke taak is ontworpen. Jalapeño is OpenAI’s ASIC voor inference: het uitvoeren van een getraind AI-model. De AMD EPYC Turin-processors zijn de host-CPU’s naast die accelerators.
Volgens de beschreven configuratie heeft elke host twee Turin-klasse AMD EPYC-processors en 1,5 TB DRAM. De systeembeschrijving koppelt 16 hosttrays aan 16 trays met Jalapeño. Elke acceleratortray bevat acht ASIC’s, samen 128 Jalapeño-chips per beschreven rack. Acht externe PCIe-DAC-kabels verbinden elke hosttray met de bijbehorende ASIC-tray.
Waarom OpenAI voor Turin koos in plaats van Nvidia Vera
Richard Ho, vice president en hoofd hardware bij OpenAI, noemde de volwassenheid van het Turin-platform en de ervaring van partners ermee. Die vertrouwdheid moest het ontwerp helpen versnellen en onnodige risico’s beperken. Ho beoordeelde Nvidia Vera op dat moment als minder volwassen voor gebruik als zelfstandige CPU.
Interne inzet en geplande productieramp in 2027
Op 25 augustus werd gemeld dat OpenAI engineeringexemplaren had en dat de productie in 2027 geleidelijk zou opschalen, met het grootste deel van de productie gepland voor het einde van dat jaar. Het bericht van 2 oktober ging over interne inzet; de eerdere planning betrof de verwachte productieramp.
OpenAI geeft voorrang aan de eigen computervraag
Ho zei dat OpenAI de capaciteit eerst voor de eigen computervraag wil inzetten. Gebruik buiten het bedrijf liet hij open, maar hij kondigde geen verkoop aan externe klanten aan. Die prioriteit kwam ook aan bod in NeoTeo’s eerdere bericht over OpenAI’s eigen rekenvraag.
