Koszty generatywnej AI najłatwiej porównać, mierząc, jaka część zadań kończy się na regułach, ile kosztuje każda ścieżka i jak często sprawy trafiają dalej. AWS rozróżnia kod deterministyczny do sprawdzalnych reguł, decyzje ograniczone do ustalonego wyboru oraz modele dopasowane do zadań otwartych — to zalecany sposób projektowania przepływu, a nie gwarancja konkretnej oszczędności (AWS).

Najpierw sprawdź, czy krok da się rozstrzygnąć regułą. Model zostaw do zadań, które rzeczywiście wymagają wyboru lub generowania.

Jak porównać koszty własnego przepływu?

Dla zadania klasyfikacyjnego można zestawić koszt kierowania wszystkich próśb do modelu z kosztem ścieżki, w której reguły obsługują część przypadków, a pozostałe trafiają do ograniczonej decyzji:

N × C_M kontra N × C_R + N × (1 − r) × C_D

N oznacza liczbę żądań, r — zmierzony udział spraw rozstrzygniętych przez reguły, C_M — koszt klasyfikacji jednego żądania przez model, C_R — koszt wykonania reguły, a C_D — koszt decyzji dla nierozstrzygniętej sprawy. Wzór zakłada, że ścieżki dotyczą tego samego zadania i dają wyniki spełniające wymagania jakości. Jeśli różnią się kosztami infrastruktury, ewaluacji lub obsługi, trzeba doliczyć je osobno.

Gdy decyzja może przekazać część przypadków do generowania odpowiedzi, rachunek musi uwzględniać zarówno koszt tej decyzji, jak i wywołania modelu dla eskalowanych spraw. Porównuj więc koszt udanego wyniku, a nie samą cenę pojedynczego wywołania. Wzór daje ramę do obliczeń; wynik zależy od pomiarów i stawek dotyczących konkretnego przepływu.

Przykład AWS, w którym reguły rozwiązują 95% próśb, a jedna na 20 dociera do modelu, to wyłącznie ilustracja arytmetyczna, nie wynik pomiaru. W rzeczywistym wdrożeniu udział obsłużony przez reguły trzeba ustalić na własnych danych.

Które zadania obsłużyć regułami, a które modelem?

Kod pasuje do warunków, które można jednoznacznie sprawdzić, takich jak format, schemat, słowo kluczowe czy zakres liczbowy. Ograniczona decyzja sprawdza się przy wyborze z ustalonego zestawu, a model generatywny — przy otwartym zadaniu, takim jak napisanie odpowiedzi.

Zadanie w przepływieŚcieżka wykonaniaDlaczego pasujeCo uwzględnić
Sprawdzenie formatu zamówienia lub znanego wzorca numeru śledzeniaKod deterministycznyWynik można ocenić według określonych warunkówWzorzec musi odpowiadać obsługiwanym przypadkom
Rozpoznanie intencji klientaNajpierw reguły, potem ograniczona decyzjaProste przypadki mogą spełniać regułę, a pozostałe można przypisać do ustalonej kategoriiUstal, kiedy wynik ma trafić do dalszej obsługi
Wybór kolejki obsługiOgraniczona decyzjaZadanie polega na wskazaniu jednej z dostępnych kolejekSprawdź trafność wyborów na oznaczonych przykładach
Przygotowanie odpowiedzi na otwarte pytanieModel generatywnyTrzeba ułożyć treść zamiast wybrać gotową kategorięDobierz model do wymagań jakości, kosztu i opóźnień

Do zadań o ustalonych odpowiedziach AWS wymienia między innymi ustrukturyzowane wyniki z opcją „niepewne”, podobieństwo osadzeń, klasyfikator oraz eksperymentalny Strands Decider. Progi pewności i sygnały przekazania sprawy dalej warto oceniać na oznaczonych przykładach. Uprawnienia i zakresy liczbowe najlepiej rozstrzygać w kodzie; AWS przestrzega też przed wykonywaniem dowolnego kodu pochodzącego z plików konfiguracyjnych.

Co wpływa na koszt poza wywołaniami modelu?

Anglojęzyczny materiał Cloud With Raj omawia zarządzanie kontekstem, grupowanie zadań, pamięć podręczną, porządkowanie dokumentów RAG i wybory infrastrukturalne.

Rachunek może obejmować także ilość kontekstu przekazywanego modelowi, grupowanie zadań, pamięć podręczną odpowiedzi, porządkowanie dokumentów w systemie RAG oraz wybór bazy wektorowej i infrastruktury. Materiał wideo Cloud With Raj porusza również destylację modeli i wykorzystanie mniejszych modeli; jest anglojęzyczny.

Te elementy warto rozliczać osobno od kosztu samego wnioskowania. Skrócenie kontekstu lub zmiana infrastruktury nie zastępuje oceny jakości: niższy koszt nie pomaga, jeśli system przestaje poprawnie wykonywać zadanie.

Jak ocenić koszt razem z jakością i opóźnieniem?

Przed zmianą ścieżki ustal minimalny akceptowalny poziom jakości, limit kosztu, docelowe opóźnienie i wymagania zgodności. Następnie sprawdź kandydatów na oznaczonym zestawie przykładów odpowiadających konkretnemu zadaniu. AWS zaleca również możliwość wycofania zmiany i monitorowanie pogorszenia wyników w czasie.

Kod deterministyczny jest zazwyczaj znacznie tańszy za pojedyncze wykonanie i może działać w czasie liczonym w jednocyfrowych milisekundach lub krócej; wywołania modeli zwykle trwają setki milisekund i mogą być rozliczane za tokeny. To ogólne porównanie, nie pomiar konkretnego wdrożenia. Ostatecznie wybierz ścieżkę, która mieści się w przyjętych limitach i dostarcza poprawny wynik dla twoich danych.