GPT-6.1 Terra czy GPT-6 Astra? Ceny API i wyniki testów

GPT-6.1 Terra ma dziesięciokrotnie niższe standardowe stawki za token wejściowy i wyjściowy niż GPT-6 Astra przy krótkim kontekście. W trzech jednorazowych testach syntetycznych opisanych przez autora The New Stack Terra uzyskała jednak niższy wynik łączny, choć zadania zajęły jej mniej czasu, a szacowany koszt tokenów był niższy.

Cennik API zależy od długości kontekstu i trybu

Opublikowany przez OpenAI cennik podaje ceny w dolarach amerykańskich za milion tokenów. Przy krótkim kontekście, czyli do 272 tys. tokenów wejściowych włącznie, stawki standardowe Terra wynoszą 1 USD za tokeny wejściowe i 5 USD za wyjściowe. Dla Astry to odpowiednio 10 i 50 USD. Szczegóły podaje oficjalny cennik API OpenAI.

Długi kontekst oznacza w tym cenniku żądanie zawierające ponad 272 tys. tokenów wejściowych. Ceny w tabeli dotyczą trybu Standard. Tryby Batch i Flex kosztują połowę stawki Standard, a Fast dwa razy więcej. Dopłata 10% dotyczy kwalifikujących się punktów końcowych przetwarzania regionalnego. To stawki za tokeny API, nie abonamenty ChatGPT ani koszt całego zadania. Rzeczywista kwota zależy także od liczby zużytych tokenów i ewentualnych opłat za narzędzia.

Limity modeli są takie same, ustawienia rozumowania się różnią

Dokumentacja OpenAI podaje dla obu modeli okno kontekstu o wielkości 1 050 000 tokenów, maksymalnie 922 000 tokenów wejściowych i 128 000 wyjściowych. Oba przyjmują tekst i obrazy, a generują tekst. Dokumentacja GPT-6.1 Terra i dokumentacja GPT-6 Astra wymieniają różne ustawienia wysiłku rozumowania:

Terra jako jedyna z tej pary ma w dokumentacji ustawienie none. Jej wywoływanie narzędzi wymaga Responses API. Obie strony modeli wymieniają obsługę korzystania z komputera. OpenAI opisuje Terrę jako szybką i wydajną przy rozumowaniu na obrazach, obsłudze komputera i pisaniu, a Astrę jako model do wymagającego rozumowania, programowania, badań i pracy z komputerem. To opisy zastosowań podane przez OpenAI, nie wynik bezpośredniego porównania tych zadań. Szczegółowe tło samej Astry znajdziesz w wcześniejszym omówieniu GPT-6 Astra w NeoTeo.

Trzy testy syntetyczne dały Astrze więcej punktów

Autor The New Stack przeprowadził po jednym końcowym teście na model przy wysokim wysiłku rozumowania. W każdym przypadku użyto danych syntetycznych. Terra uzyskała 121 z 150 punktów, a Astra 148 z 150.

W zadaniu walidacji test obejmował 4 950 sztucznych rekordów, 19 reguł, 40 rekordów błędnych i 10 poprawnych, które wyglądały podejrzanie. Terra wykryła 35 z 40 błędnych rekordów i nie oznaczyła żadnego z poprawnych jako błędnego. Astra wykryła wszystkie 40 błędnych rekordów.

W zadaniu SQL Astra podała łączny czas 31 022 sekund dla 151 kompilacji, podczas gdy autor testu wskazał 31 428 sekund jako poprawną sumę. Terra nie podała obliczonych odpowiedzi na sześć pytań agregujących, zamiast tego zwracając zapytania SQL. W trzecim zadaniu oba modele uzyskały pełną punktację za analizę syntetycznej awarii z około 7 000 linii logów z ponad 20 usług. Wskazały zmianę ustawień usługi księgowej i trzy serwery z błędnymi zegarami, mimo fałszywych tropów.

W sumie tych trzech uruchomień Terra potrzebowała 258,8 sekundy, a Astra 709,2 sekundy. Autor oszacował koszt tokenów na 0,61 USD dla Terry i 7,88 USD dla Astry, stosując standardowe stawki bez pamięci podręcznej. To szacunki dla tych uruchomień, nie kwoty z faktur; nie obejmują narzędzi ani korekt rozliczeniowych. Wszystkie testy mieściły się poniżej progu 272 tys. tokenów wejściowych. Choć w obu modelach ustawiono wysoki wysiłek rozumowania, ustawienie to nie oznaczało identycznego budżetu tokenów rozumowania.

Wyniki nie rozstrzygają, który model lepiej programuje

Zadania obejmowały rozumowanie SQL, walidację danych i triaż incydentu, a nie szeroki test pracy programistycznej ani codziennych zadań. Autor przygotował trzy wersje każdego zadania; trudniejsze wersje końcowe wybrał po tym, jak wcześniejsze dały takie same wyniki. Każdą wersję końcową uruchomił raz na model i zaznaczył, że testy nie są reprezentatywną próbą zwykłej pracy.

Wyniki wspierają więc wąski wniosek: w tych trzech zadaniach Astra zdobyła więcej punktów, a Terra zakończyła je szybciej i z niższym szacowanym kosztem tokenów. Nie rozstrzygają ogólnego rankingu dla programowania czy pracy na co dzień. Jeśli ważniejsze są opublikowane stawki jednostkowe, przewagę ma Terra w podanych warunkach cenowych. Jeśli punktem odniesienia są wyniki tych konkretnych zadań, wyżej oceniono Astrę.

Film przytacza osobne wyniki benchmarków

W anglojęzycznym filmie Lifey Guy przytoczono wyniki przypisane Artificial Analysis: w Intelligence Index v4.3 Terra uzyskała 48 punktów, a Astra 53; w Terminal-Bench 4.0 wyniki wyniosły odpowiednio 56% i 59%, a w SciCode 55% i 56%. To osobny zestaw benchmarków, nie powtórzenie trzech testów syntetycznych opisanych wyżej.