Para empezar a ejecutar NVIDIA Nemotron 3.5 Super VL con la ruta de EKS estándar de AWS, necesitas acceso a instancias EC2 P5en.48xlarge o P6-b200.48xlarge, Git y Docker en tu terminal, y credenciales con permisos para EC2, EKS y FSx for Lustre. El ejemplo oficial de AWS advierte que quizá haga falta solicitar más cuota o reservar capacidad.
NVIDIA describe Nemotron 3.5 Super VL como un modelo de 120.000 millones de parámetros, con 12.000 millones activos por token. (Informe técnico de NVIDIA)
Requisitos antes de empezar
Además del acceso a una de las instancias indicadas, prepara un equipo con Git y Docker y unas credenciales de AWS que puedan gestionar EC2, EKS y FSx for Lustre. Son los requisitos que enumera el ejemplo de AWS para su despliegue; la cuota o una reserva de capacidad pueden ser necesarias.
Primeros pasos con EKS estándar
El ejemplo de AWS documenta el comienzo del proceso, desde preparar un entorno auxiliar hasta comprobar que el clúster está creado. Sigue este orden:
- Clona el repositorio y entra en su carpeta.
git clone https://github.com/aws-samples/aws-do-eks cd aws-do-eks - Configura la región. Ejecuta
./config.shpara definirla antes de preparar el entorno. - Construye la imagen auxiliar. Ejecuta
./build.sh. - Inicia el contenedor y comprueba su estado. Ejecuta
./run.shy después./status.sh. - Abre una terminal dentro del contenedor. Ejecuta
./exec.sh. - Configura las credenciales de AWS. Dentro del entorno auxiliar, ejecuta
aws configure. - Selecciona el manifiesto del clúster. Ejecuta
./env-config.sh. - Ajusta la configuración del clúster. Ejecuta
./eks-config.sh. - Crea el clúster. Ejecuta
./eks-create.sh. AWS indica que esta operación puede tardar hasta 30 minutos. - Comprueba los nodos. Ejecuta
kubectl get nodespara revisar los nodos del clúster.
Después, la guía continúa con la instalación de controladores, complementos y operadores de Kubernetes; la validación del clúster; la descarga de los pesos del modelo; el despliegue; las pruebas y la evaluación comparativa; y la eliminación de los recursos creados.
Opciones de despliegue y mínimos de GPU para vLLM
AWS enumera tres opciones de orquestación: Amazon EKS estándar, EKS Auto Mode y SageMaker HyperPod EKS. Según AWS, los mismos manifiestos de Kubernetes sirven para las tres. En Auto Mode, AWS gestiona el escalado y el soporte de GPU y EFA; con EKS estándar, el ejemplo incluye la creación del clúster.
El recorrido también permite elegir entre EBS junto con FSx o FSx únicamente, los formatos BF16 y NVFP4, y arquitecturas de servicio agregadas o desagregadas. Para servir el modelo, contempla NVIDIA Dynamo con vLLM como backend.
AWS publica estos mínimos de GPU para vLLM según el acelerador y la precisión:
| Modelo de GPU | Mínimo con BF16 | Mínimo con NVFP4 |
| B200/GB200 | 8 GPU | 2 GPU |
| B300/GB300 | 4 GPU | 1 GPU |
| H200 | 8 GPU | 4 GPU |
| H100 | 16 GPU | 8 GPU |
Son mínimos de GPU para servir el modelo con vLLM. El patrón de AWS también contempla nodos de CPU y GPU, almacenamiento compartido FSx for Lustre para los pesos y conexiones EFA entre los nodos GPU. (Descripción técnica de AWS)
Qué condiciones tuvo la comparación de latencia de AWS
AWS informó de un menor tiempo hasta el primer token (TTFT) y una latencia entre tokens (ITL) similar en su prueba con servicio desagregado frente al agregado. El gráfico identifica el modelo como Nemotron 3.5 Super VL 120B-A12B en BF16 sobre H200, con 1.024 tokens de entrada, 512 de salida, una barrida de concurrencia de 1 a 128 y un lanzamiento por punto.
Las dos configuraciones usaron cantidades distintas de recursos: 8 GPU en el servicio agregado y 16 en el desagregado. Por eso, el resultado publicado no aísla el efecto de la topología. No permite atribuir la diferencia de TTFT únicamente a separar el procesamiento.
Cómo evaluar el rendimiento de tu carga
AWS recomienda comprobar primero el clúster y la red con una prueba all-reduce de NCCL. La actividad observada en las GPU y los adaptadores EFA durante esa prueba indica que el clúster funciona según lo esperado.
Para medir el servicio del modelo, AWS utiliza NVIDIA aiperf y recomienda probar distintos niveles de concurrencia. Las métricas incluyen TTFT, ITL y rendimiento de salida. AWS relaciona un aumento del ITL con la necesidad de añadir capacidad de decodificación, y un aumento del TTFT con la de añadir capacidad de prellenado (prefill).
