Shengyu Liu erwartet KI-GPU-Kernel auf Expertenniveau

Am 16. September 2026 rückte ein persönlicher Ausblick von Shengyu Liu, einem bei DeepSeek tätigen Machine-Learning-Systems- und Kernel-Ingenieur, die nächste Stufe der GPU-Optimierung ins Rampenlicht: Liu erwartet, dass KI-generierte Kernel seine eigene Arbeit in sechs bis zwölf Monaten erreichen oder übertreffen könnten. Ein begrenzter technischer Workflow zeigt bereits, wie ein Modell solche Aufgaben mit einem Prüfsystem und wiederholten Verbesserungen bearbeitet.

Wer den Wandel beschreibt

Liu beschreibt einen schnellen Rollenwechsel: KI habe sich innerhalb von ungefähr einem Jahr von einer Hilfe bei Dokumentation, Codelektüre und Fehlersuche zu einem Werkzeug entwickelt, das CUDA, PTX und SASS analysieren, Instruktionsstillstände untersuchen und Operatoren optimieren kann. CUDA ist die Programmierschnittstelle für NVIDIA-GPUs, PTX eine virtuelle Instruktionssprache und SASS der näher an der Hardware liegende Maschinencode.

Liu rechnet deshalb damit, dass sich seine Arbeit verändern könnte: weg vom manuellen Schreiben jedes Kernels, hin zur Steuerung von Agenten, die Varianten erzeugen und testen. Seine Prognose ist ein persönlicher Ausblick – kein allgemeiner Nachweis dafür, dass KI bereits die Leistung erfahrener Kernel-Entwickler erreicht.

Warum GPU-Kernel die Geschwindigkeit von KI bestimmen

Ein GPU-Kernel ist eine fokussierte Rechenoperation, die ein Modell immer wieder ausführt. Dazu gehören etwa Matrixmultiplikation, Attention, Quantisierung oder das Routing in Mixture-of-Experts-Modellen (MoE). Schon die Aufteilung der Daten auf Threads, die Speicherzugriffe, die Kachelung – also die Zerlegung großer Matrizen in kleinere Blöcke – und die verwendete Präzision können Latenz und Durchsatz verändern.

Das ist der Grund, warum zwei Programme mit derselben mathematischen Aufgabe auf derselben GPU unterschiedlich schnell laufen können. Ein Kernel muss Daten effizient durch die Speicherhierarchie bewegen, Rechenwerke auslasten und Synchronisation möglichst sparsam einsetzen. Bei großen Sprachmodellen wiederholen sich diese Operationen während Training und Inferenz in enormer Zahl. Kleine Verbesserungen an einer zentralen Operation können sich daher auf die Zeit bis zur ersten Antwort und auf die Zahl der gleichzeitig bearbeiteten Anfragen auswirken.

DeepSeek verbindet solche Optimierungen mit spezieller Systemarbeit. Dazu gehören Kernel für niedrige Präzision, eigene Strategien für GPU-Kommunikation und eine an die Modellarchitektur angepasste Lastverteilung. Ein technischer Blick auf DeepSeeks Infrastruktur zeigt, warum diese Ebene weit unterhalb der Chat-Oberfläche für die praktische Geschwindigkeit entscheidend ist.

Der bereits demonstrierte Workflow

Die stärkste konkrete Demonstration stammt aus einem von NVIDIA beschriebenen Versuch mit DeepSeek-R1. Dabei erzeugt das Modell zunächst einen Kandidaten für einen Attention-Kernel in CUDA C++. Ein Verifier prüft anschließend, ob der Code die geforderten Kriterien erfüllt. Scheitert der Kandidat, wird die Eingabe überarbeitet und ein neuer Versuch gestartet.

In diesem Experiment erreichte der Workflow bei den getesteten KernelBench-Aufgaben eine numerische Korrektheit von 100 % auf Level 1 und 96 % auf Level 2. Das misst die Korrektheit unter den beschriebenen Benchmark- und Workflow-Bedingungen. Es ist kein universeller Leistungsnachweis für alle Modelle, GPUs oder Produktionslasten.

Der entscheidende Punkt ist die Arbeitsteilung: Das Modell schreibt Varianten, während Verifier, Zielkriterien und Hardwareumgebung die Suche begrenzen. Aus einem einzelnen großen Schreibvorgang wird damit eine Schleife aus Erzeugen, Messen und Überarbeiten. Genau diese Schleife macht automatisierte Kernel-Optimierung praktisch nutzbar.

Vom Kernel-Schreiben zur Steuerung von Agenten

Lius Prognose zielt nicht nur auf Codegenerierung. Ein leistungsfähiger Agent müsste passende Kachelgrößen und Speicherzugriffe auswählen, Instruktionsstillstände analysieren, verschiedene Präzisionen gegeneinander abwägen und die Ergebnisse auf konkreter Hardware prüfen. Ein syntaktisch korrekter Kernel reicht dafür nicht aus: Er muss numerisch richtig sein und unter den relevanten Bedingungen tatsächlich effizient laufen.

Liu erwartet, dass KI-generierte Kernel seine Arbeit innerhalb von sechs bis zwölf Monaten erreichen oder übertreffen könnten. Seine eigene Rolle würde sich dadurch eher in Richtung Zieldefinition, Auswahl der Experimente und Validierung verschieben. Der Unterschied ist wichtig: Eine Prognose über die Veränderung eines Berufs ist keine Messung des Arbeitsmarkts und kein Beleg für eine allgemeine Ablösung von Kernel-Ingenieuren.

DeepSeeks Optimierungs-Ökosystem

Die Automatisierung steht bei DeepSeek nicht isoliert neben der übrigen Systemarbeit. Das offizielle Projekt TileKernels veröffentlicht TileLang-basierte Kernel für Gating, MoE-Routing, Quantisierung, Transponierung, Engram und Manifold-Hyper-Connections. TileLang ist eine domänenspezifische Sprache, mit der GPU-Kernel in Python-ähnlicher Form beschrieben werden.

TileKernels zielt auf NVIDIA-GPUs der Architekturen SM90 oder SM100 und nennt unter anderem Python 3.10 oder neuer, PyTorch 2.10 oder neuer, TileLang 0.1.9 oder neuer sowie das CUDA Toolkit 13.1 oder neuer als Softwarevoraussetzungen. Das Projekt zeigt damit die Breite der Optimierungsarbeit: Sie reicht von einzelnen Rechenoperationen über Quantisierung bis zu den Verbindungen zwischen Modellkomponenten.

Auch DeepGEMM gehört in diesen Kontext. Shengyu Liu wird mit Arbeiten an der FP8-GEMM-Optimierung in Verbindung gebracht; GEMM bezeichnet die grundlegende Matrixmultiplikation, auf der ein großer Teil moderner KI-Berechnungen aufbaut. Für DeepSeek V4.1 Flash wird ihm außerdem die Arbeit an einem zentralen Attention-Kernel zugeschrieben. Diese technische Zuordnung bleibt eine berichtete Darstellung und ist nicht als unabhängig bestätigte Produktionsangabe formuliert.

Der praktische Wandel liegt damit weniger in einem einzelnen magischen Modell als in der Kombination aus Codegenerierung, automatischer Prüfung, Hardwarewissen und wiederholter Optimierung. DeepSeek-R1 kann in einem begrenzten Versuchsaufbau Kernel-Kandidaten erzeugen; TileKernels zeigt, welche spezialisierten Operationen das Umfeld bereits systematisch abdeckt.