Google ogłosiło 28 października 2026 r., że LiteRT w Google Play services obsługuje inferencję GPU przez CompiledModel. Dla deweloperów oznacza to konkretny wybór: istniejąca integracja Interpreter może nadal wykonywać obliczenia na CPU, ale użycie GPU wymaga przejścia na CompiledModel. Google opisało nową ścieżkę.
Co oznaczają wyniki testów Google
Google podało, że w jego testach inferencja GPU była około 1,4 raza szybsza niż przy użyciu starszego delegata GPU TensorFlow Lite. Firma poinformowała też, że aplikacje przechodzące z dołączonego LiteRT na wersję dostarczaną przez Google Play services były około 8 MB mniejsze. Oba wyniki dotyczą testów Google.
Wersja dostarczana przez Google Play services pozwala usunąć z pakietu aplikacji dołączony runtime LiteRT, jeśli aplikacja wcześniej go zawierała. Model nadal korzysta z formatu .tflite. Google wskazuje ML Drift jako silnik GPU nowej ścieżki.
Interpreter obsługuje CPU, a CompiledModel GPU
Deweloperzy mogą pozostawić istniejący kod Interpreter, jeśli wystarcza im wykonywanie modeli na CPU. Aby uruchamiać inferencję na GPU, muszą użyć CompiledModel. Google uznaje starsze API delegata GPU i własnych delegatów za przestarzałe.
| Potrzeba | API lub konfiguracja | Zachowanie |
| Dalsze korzystanie z istniejącej integracji | Interpreter w Google Play services | Wykonywanie na CPU |
| Inferencja na GPU | CompiledModel | Ścieżka GPU |
| Brak użytecznego GPU przy żądaniu GPU i CPU | Żądanie obu procesorów | Runtime przechodzi na CPU |
Warunek powrotu na CPU jest istotny: Google opisuje go dla żądania, które obejmuje jednocześnie GPU i CPU, gdy nie ma dostępnego użytecznego GPU.
Kolejność migracji do CompiledModel
Google wskazuje następujące kroki, opisane także w dokumentacji LiteRT dla Google Play services:
- Dodaj zależność
com.google.android.gms:play-services-litert:17.0.0lub nowszą. - Jeśli aplikacja dołącza własną zależność LiteRT, usuń ją przy przejściu na runtime z Google Play services.
- Zainicjuj LiteRT z włączoną obsługą GPU i poczekaj na przygotowanie środowiska.
- Przekaż uzyskane środowisko przy tworzeniu obiektu CompiledModel.
Przykład Google pokazuje inicjalizację w Kotlinie. Sama zależność nie zmienia istniejącej integracji Interpreter w ścieżkę GPU: do tego potrzebny jest CompiledModel.
Wersje platform i obsługa procesorów
Google wymienia obsługę telefonów z Androidem 7 (API 24) lub nowszym, urządzeń z Wear OS 4 lub nowszym oraz Android Automotive OS na Androidzie 11 lub nowszym. Runtime korzysta z OpenCL, gdy jest dostępny, a w przeciwnym razie z OpenGL.
Google podaje, że poprawki błędów, aktualizacje wydajności i poprawki bezpieczeństwa trafiają do użytkowników etapami przez Google Play services. Firma pracuje też nad obsługą NPU. Google zapowiedziało, że usuwanie NNAPI rozpocznie się w 2027 r.; starsze SDK mają otrzymywać wyłącznie krytyczne poprawki bezpieczeństwa.
