Google ogłosiło inferencję GPU LiteRT przez CompiledModel

Google ogłosiło 28 października 2026 r., że LiteRT w Google Play services obsługuje inferencję GPU przez CompiledModel. Dla deweloperów oznacza to konkretny wybór: istniejąca integracja Interpreter może nadal wykonywać obliczenia na CPU, ale użycie GPU wymaga przejścia na CompiledModel. Google opisało nową ścieżkę.

Co oznaczają wyniki testów Google

Google podało, że w jego testach inferencja GPU była około 1,4 raza szybsza niż przy użyciu starszego delegata GPU TensorFlow Lite. Firma poinformowała też, że aplikacje przechodzące z dołączonego LiteRT na wersję dostarczaną przez Google Play services były około 8 MB mniejsze. Oba wyniki dotyczą testów Google.

Wersja dostarczana przez Google Play services pozwala usunąć z pakietu aplikacji dołączony runtime LiteRT, jeśli aplikacja wcześniej go zawierała. Model nadal korzysta z formatu .tflite. Google wskazuje ML Drift jako silnik GPU nowej ścieżki.

Interpreter obsługuje CPU, a CompiledModel GPU

Deweloperzy mogą pozostawić istniejący kod Interpreter, jeśli wystarcza im wykonywanie modeli na CPU. Aby uruchamiać inferencję na GPU, muszą użyć CompiledModel. Google uznaje starsze API delegata GPU i własnych delegatów za przestarzałe.

Warunek powrotu na CPU jest istotny: Google opisuje go dla żądania, które obejmuje jednocześnie GPU i CPU, gdy nie ma dostępnego użytecznego GPU.

Kolejność migracji do CompiledModel

Google wskazuje następujące kroki, opisane także w dokumentacji LiteRT dla Google Play services:

1. Dodaj zależność com.google.android.gms:play-services-litert:17.0.0 lub nowszą.
2. Jeśli aplikacja dołącza własną zależność LiteRT, usuń ją przy przejściu na runtime z Google Play services.
3. Zainicjuj LiteRT z włączoną obsługą GPU i poczekaj na przygotowanie środowiska.
4. Przekaż uzyskane środowisko przy tworzeniu obiektu CompiledModel.

Przykład Google pokazuje inicjalizację w Kotlinie. Sama zależność nie zmienia istniejącej integracji Interpreter w ścieżkę GPU: do tego potrzebny jest CompiledModel.

Wersje platform i obsługa procesorów

Google wymienia obsługę telefonów z Androidem 7 (API 24) lub nowszym, urządzeń z Wear OS 4 lub nowszym oraz Android Automotive OS na Androidzie 11 lub nowszym. Runtime korzysta z OpenCL, gdy jest dostępny, a w przeciwnym razie z OpenGL.

Google podaje, że poprawki błędów, aktualizacje wydajności i poprawki bezpieczeństwa trafiają do użytkowników etapami przez Google Play services. Firma pracuje też nad obsługą NPU. Google zapowiedziało, że usuwanie NNAPI rozpocznie się w 2027 r.; starsze SDK mają otrzymywać wyłącznie krytyczne poprawki bezpieczeństwa.