Je kunt NVIDIA Nemotron 3.5 Super VL op AWS draaien met standaard Amazon EKS, EKS Auto Mode of SageMaker HyperPod EKS. Voor de eerste EKS-stappen heb je toegang nodig tot een van de genoemde GPU-instanties, lokale Git- en Docker-installaties en AWS-rechten voor EC2, EKS en FSx for Lustre. Deze route is bedoeld voor cloud- en ML-teams die een GPU-cluster zelf willen inrichten.

Wat je nodig hebt voor het AWS-voorbeeld

De AWS-voorbeeldhandleiding noemt toegang tot EC2-instanties van het type P5en.48xlarge of P6-b200.48xlarge. Een quotaverhoging of capaciteitsreservering kan nodig zijn. Installeer Git en Docker op de terminal die je gebruikt en zorg dat je AWS-inloggegevens de vereiste rechten hebben voor EC2, EKS en FSx for Lustre.

AWS beschrijft Nemotron 3.5 Super VL als een multimodaal model met 120 miljard parameters, waarvan er 12 miljard per token actief zijn. Het model verwerkt tekst, afbeeldingen, documenten en video en produceert tekst. De genoemde contextlengte loopt op tot één miljoen tokens. AWS beschrijft de model- en clusteropzet.

De eerste stappen met standaard-EKS

De AWS-handleiding beschrijft eerst de standaard-EKS-route. Het cluster aanmaken kan volgens AWS tot 30 minuten duren.

  1. Haal de repository op en stel de regio in. Ga naar de map aws-do-eks en voer ./config.sh uit om de AWS-regio in te stellen.
  2. Bouw de hulpcontainer. Voer ./build.sh uit. De volgende stappen gebruiken deze lokale omgeving.
  3. Start de container en controleer de status. Gebruik ./run.sh en daarna ./status.sh. Open de shell met ./exec.sh.
  4. Configureer je AWS-inloggegevens. Voer in de container aws configure uit.
  5. Kies en bewerk het clustermanifest. Gebruik ./env-config.sh om het manifest te selecteren en ./eks-config.sh om de clusterinstellingen aan te passen.
  6. Maak het cluster aan. Voer ./eks-create.sh uit. Deze stap start eksctl create cluster met het gekozen manifest.
  7. Controleer de nodes. Voer na het aanmaken kubectl get nodes uit om de cluster-nodes te bekijken.

Dit is het begin van de procedure. De AWS-handleiding vervolgt met onder meer Kubernetes-drivers en operators, validatie, het downloaden van modelgewichten, de modeldeployment, benchmarks en het opruimen van de aangemaakte resources.

Orchestratie en GPU-minima voor vLLM

AWS noemt drie opties om de Kubernetes-omgeving te orkestreren: standaard Amazon EKS, EKS Auto Mode en SageMaker HyperPod EKS. EKS Auto Mode beheert volgens AWS de schaling en ondersteuning voor GPU’s en EFA. Voor de drie opties gebruikt AWS hetzelfde type Kubernetes-deploymentmanifesten. De voorbeeldhandleiding beschrijft daarnaast opslag met EBS en FSx of alleen FSx, en geaggregeerde of gescheiden serving. De implementatie gebruikt NVIDIA Dynamo met vLLM als backend.

AWS geeft de volgende minimale GPU-aantallen voor vLLM, uitgesplitst naar accelerator en checkpointprecisie:

GPU-modelBF16, minimumaantal GPU’sNVFP4, minimumaantal GPU’s
B200/GB20082
B300/GB30041
H20084
H100168

Dit zijn minima voor het draaien van het model met vLLM, geen volledig clusterontwerp of kostenraming. De keuze voor een orchestrator, opslagindeling en servingtopologie komt daar nog bij.

Hoe AWS de latencyvergelijking uitvoerde

AWS rapporteerde een lagere tijd tot het eerste token (TTFT) en ongeveer dezelfde inter-tokenlatentie (ITL) voor een gescheiden deployment met twee nodes als voor een geaggregeerde deployment. De grafiek vergelijkt echter configuraties met verschillende GPU-aantallen: 8 GPU’s voor de geaggregeerde en 16 voor de gescheiden opzet.

De grafiek vermeldt verder BF16 op H200, 1.024 inputtokens en 512 outputtokens, met concurrency van 1 tot en met 128 en één meting per cel. Door het verschil in GPU-aantal is dit geen vergelijking die alleen het effect van de topologie meet. De uitkomst geldt voor de geteste configuraties. AWS beschrijft de benchmark en rapporteert de resultaten.

Valideer het cluster en meet je workload

AWS noemt een NCCL all-reduce-microbenchmark om de werking van cluster en netwerk te controleren. Tijdens die test geeft activiteit op GPU’s en EFA-netwerkadapters aan dat de clusterverbindingen werken zoals verwacht.

Voor modelprestaties gebruikt AWS NVIDIA aiperf. Daarmee meet je bij verschillende aantallen gelijktijdige verzoeken de TTFT, ITL en outputdoorvoer. AWS adviseert om veranderingen in die metingen te gebruiken bij capaciteitskeuzes: een stijgende ITL wijst op extra decodecapaciteit, terwijl een stijgende TTFT aanleiding geeft om de prefillcapaciteit te bekijken.