Shengyu Liu, inżynier systemów uczenia maszynowego i kernelów w DeepSeek, przewiduje, że w ciągu 6–12 miesięcy kernele pisane przez AI mogą dorównać jego własnej pracy albo ją przewyższyć. To osobista prognoza, ale jej techniczne tło już istnieje: NVIDIA pokazała proces, w którym DeepSeek-R1 tworzy kandydatów na kernele GPU, a weryfikator sprawdza ich poprawność i pomaga poprawiać kolejne wersje.
Kernel GPU to niewielka, wyspecjalizowana operacja wykonywana wielokrotnie podczas treningu lub działania modelu — na przykład mnożenie macierzy, mechanizm uwagi, kwantyzacja albo routing ekspertów. Sposób dostępu do pamięci, podział pracy między wątki, precyzja obliczeń i synchronizacja mogą zmienić opóźnienia oraz przepustowość całego systemu.
Co Shengyu Liu przewiduje dla inżynierii kernelów
Liu opisuje zmianę roli AI: od pomocy w dokumentacji, czytaniu kodu i debugowaniu do analizy CUDA, PTX i SASS, badania przestojów instrukcji oraz optymalizowania operatorów GPU. Jego zdaniem AI może w perspektywie 6–12 miesięcy osiągnąć poziom jego własnej pracy przy tworzeniu kernelów.
To nie jest prognoza powszechnego zniknięcia zawodu. Liu przewiduje raczej przesunięcie akcentu: inżynier może mniej czasu spędzać na ręcznym pisaniu kodu, a więcej na wyznaczaniu celów, kierowaniu agentem i sprawdzaniu wyników. W praktyce nadal trzeba określić kryteria poprawności, dobrać sprzęt i ocenić, czy optymalizacja pomaga całemu modelowi, a nie tylko pojedynczemu testowi.
Dlaczego kernele wpływają na szybkość AI
Model wykonuje tysiące wyspecjalizowanych operacji, a każda z nich może wielokrotnie korzystać z tych samych danych. Kernel decyduje między innymi o tym, jak dane są dzielone na bloki, kiedy trafiają do szybszej pamięci oraz jak pracują równolegle wątki GPU. Mała zmiana w jednym operatorze może więc wpłynąć na czas odpowiedzi modelu i liczbę obsługiwanych żądań.
Dotyczy to zarówno klasycznych mnożeń macierzy, jak i bardziej złożonych zadań: mechanizmu uwagi, routingu w architekturach Mixture of Experts, kwantyzacji czy transpozycji. W systemach DeepSeek znaczenie mają też rozwiązania architektoniczne i planowanie komunikacji między GPU. Kernel jest jednym elementem większej układanki, nie magicznym przełącznikiem gwarantującym konkretny wzrost wydajności.
Proces generowania, który już pokazano
NVIDIA wykorzystała DeepSeek-R1 w zamkniętej pętli działającej na GPU NVIDIA H100 z architekturą Hopper. Model generował kod CUDA C++, weryfikator sprawdzał wynik, a niespełnienie kryteriów prowadziło do poprawy promptu i kolejnej próby.
| Etap procesu | Co się dzieje | Wynik lub warunek |
| Prompt początkowy | DeepSeek-R1 otrzymuje zadanie napisania kernela | Powstaje kandydat w CUDA C++ |
| Weryfikacja | Narzędzie sprawdza poprawność numeryczną i kryteria zadania | Kod przechodzi dalej albo wraca do poprawy |
| Udoskonalenie promptu | System modyfikuje instrukcję na podstawie wyniku | Pętla może wygenerować następną wersję |
| Akceptacja | Zweryfikowany kernel trafia do dalszej oceny | Proces NVIDIA działał przez 15 minut |
| Test KernelBench | Sprawdzane są problemy z poziomu Level 1 i Level 2 | 100% poprawności dla Level 1 i 96% dla Level 2 |
Wyniki są konkretne, ale dotyczą właśnie tego eksperymentu, sprzętu, procesu i benchmarku. Pokazują, że model może uczestniczyć w generowaniu poprawnych numerycznie kernelów w kontrolowanym zadaniu. Nie są pomiarem pracy produkcyjnej na wszystkich modelach i układach GPU.
Od pisania kodu do kierowania agentami
Najbardziej praktyczna zmiana dotyczy podziału pracy. Człowiek może definiować funkcję operatora, warunki poprawności i ograniczenia sprzętowe, a agent przeszukiwać warianty implementacji. W takim układzie weryfikator nie jest dodatkiem — bez niego model może wygenerować kod, który wygląda sensownie, lecz oblicza zły wynik albo nie daje przewagi na konkretnym GPU.
To właśnie odróżnia demonstrację generowania kodu od gotowego systemu automatycznej optymalizacji. Trzeba jeszcze zmierzyć zachowanie w warunkach docelowych, sprawdzić stabilność i uwzględnić koszt uruchamiania kolejnych prób. NVIDIA pokazała działającą pętlę, natomiast Liu przewiduje rozszerzenie takich możliwości na szerszą pracę inżynierską.
Szerszy ekosystem optymalizacji DeepSeek
DeepSeek rozwija również TileKernels — bibliotekę kernelów opartą na TileLang. Repozytorium obejmuje operacje związane z gatingiem, routingiem MoE, kwantyzacją, transpozycją, Engramem oraz manifold hyper-connection. To pokazuje, że optymalizacja dotyczy wielu wyspecjalizowanych fragmentów stosu, a nie jednego generatora kodu.
TileKernels jest kierowany na układy NVIDIA SM90 lub SM100 i wymienia jako wymagania Python 3.10+, PyTorch 2.10+, TileLang 0.1.9+ oraz CUDA Toolkit 13.1+. Osobnym projektem jest DeepGEMM, związany z optymalizacją mnożeń macierzy GEMM w niskiej precyzji, w tym FP8.
W tym krajobrazie prognoza Liu nabiera technicznego sensu: AI może przejąć część żmudnego przeszukiwania wariantów, ale wynik nadal zależy od celu, testów, sprzętu i decyzji inżyniera.
