Nemotron 3.5 Super VL i Beam: wybór według zadań

Jeśli firmowy proces opiera się na PDF-ach, tabelach, wykresach lub stronach internetowych, Nvidia opisuje Nemotron 3.5 Super VL jako model do pracy z takimi danymi i zadaniami agentowymi. Beam Reflection AI jest modelem tekstowym przeznaczonym między innymi do programowania, rozumowania i zadań agentowych. Wstępny wybór zależy więc od rodzaju danych i pracy, którą model ma wykonać.

Reflection AI udostępniła wagi Beam po wcześniejszej zapowiedzi, o której pisaliśmy w poprzednim artykule NeoTeo.

Porównanie w skrócie

Nvidia przedstawia Nemotron 3.5 Super VL jako model multimodalny o 120 mld parametrów do zadań agentowych, w tym analizy dokumentów wizualnych. Reflection AI określa Beam jako model tekstowy. To podstawowa różnica przy wyborze: Beam nie obsługuje opisanego przez Nvidia zadania rozumienia wykresów i dokumentów wizualnych.

Jakie zadania pasują do każdego modelu?

Nemotron 3.5 Super VL warto rozważyć przy pracy, w której agent ma korzystać z treści wizualnych, takich jak układ strony, tabela, wykres czy PDF. Nvidia opisuje także używanie narzędzi i wieloetapowe przepływy biznesowe. Szczegóły tych zastosowań firma przedstawia w swoim komunikacie o modelu.

Beam odpowiada innemu profilowi: Reflection AI wskazuje programowanie, rozumowanie i zadania agentowe wymagające pracy z tekstem. Karta modelu podaje kontekst o długości 1 mln tokenów, a także rozwój modelu głównie z myślą o języku angielskim. To istotne kryteria przy ocenie, czy jego opis pasuje do firmowych dokumentów i zadań w języku polskim. Sama długość kontekstu nie określa jakości odpowiedzi w konkretnym zastosowaniu.

Beam jest modelem typu mixture of experts (MoE), czyli z architekturą, w której liczba parametrów aktywnych przy pracy z modelem jest mniejsza od ich łącznej liczby. Reflection podaje 501,3 mld parametrów łącznie i 23,4 mld aktywnych. Te wartości opisują różne miary, więc 501,3 mld nie oznacza, że wszystkie parametry są aktywne jednocześnie.

Co dają otwarte wagi i jaka jest licencja?

Otwarte wagi dają firmie dostęp do wyuczonych parametrów modelu, które można uruchomić we własnej infrastrukturze. Nvidia podaje, że Nemotron 3.5 Super VL udostępnia także otwarte zbiory danych i receptury treningowe oraz może być dostrajany na danych organizacji.

Reflection AI wydała wagi Beam na licencji Apache 2.0 w formatach BF16, FP8 i NVFP4. Firma opisuje model jako przeznaczony do zastosowań komercyjnych i badawczych, z zastrzeżeniem obowiązującego prawa i warunków licencji. Warto oceniać osobno licencję wag i warunki pozostałych narzędzi, danych lub usług używanych przy wdrożeniu.

Gdzie można wdrożyć i dostosować modele?

Nvidia opisuje uruchamianie Nemotron 3.5 Super VL w centrach danych, chmurze, na stacjach roboczych i w środowisku edge, czyli na urządzeniach brzegowych. Firma wymienia Ramp jako przykład dostosowania modelu do analizy dokumentów finansowych. Podaje też, że Scale AI dostroiła go dla agenta EY do analiz due diligence przy fuzjach i przejęciach oraz dla agenta oceniającego kredyt kupiecki dla Skydance.

Reflection AI opisuje dla Beam dostęp przez usługi hostowane i platformy chmurowe, a także wdrożenia we własnej infrastrukturze, w środowiskach suwerennych i odseparowanych od sieci. Według firmy Dell i HPE dostarczają rozwiązania do wdrożeń lokalnych i odizolowanych. Są to ścieżki wdrożenia przedstawione przez producentów, a nie porównanie kosztów ich obsługi.

Kiedy wpisać model na krótką listę?

• Nemotron 3.5 Super VL warto rozważyć, gdy zadanie wymaga rozumienia dokumentów wizualnych, tabel lub wykresów oraz pracy agentowej z narzędziami.
• Beam pasuje do zadań tekstowych związanych z kodem, rozumowaniem i agentami, a jego licencja wag to Apache 2.0.

Nvidia deklaruje, że Nemotron 3.5 Super VL jest pięć razy szybszy od kolejnego najlepszego modelu w swojej klasie. Ta deklaracja dotyczy porównania określonego przez Nvidia; do wstępnej selekcji między tymi modelami można wykorzystać przede wszystkim ich opisane zadania i modalność.