Google kündigte am 28. Oktober 2026 GPU-Inferenz für LiteRT in Google Play-Diensten über die CompiledModel API an. Eine bestehende Interpreter-Integration in Play-Diensten kann laut Google auf der CPU weiterlaufen; für GPU-Inferenz ist CompiledModel erforderlich.

CompiledModel ist der GPU-Pfad für LiteRT

LiteRT ist Googles Laufzeitumgebung für die lokale Ausführung eigener Machine-Learning-Modelle auf Android. Die Modelle behalten das Format .tflite. Die neue GPU-Ausführung nutzt CompiledModel; der ältere Interpreter bleibt für die CPU nutzbar.

AnwendungsfallAPI oder AnforderungVerhalten laut Google
Eine bestehende Play-Dienste-Integration weiterverwendenInterpreterLäuft auf der CPU weiter
Ein Modell auf der GPU ausführenCompiledModelFür GPU-Inferenz erforderlich
GPU und CPU anfordern, aber keine nutzbare GPU habenGPU und CPU anfordernDie Ausführung fällt auf die CPU zurück

Was Googles Zahlen zu Tempo und App-Größe aussagen

Google berichtet aus eigenen Tests, dass GPU-Inferenz mit LiteRT rund 1,4-mal schneller war als mit dem älteren TensorFlow Lite GPU Delegate. Beim Wechsel von gebündeltem LiteRT zu LiteRT in Google Play-Diensten seien Apps in diesen Tests außerdem rund 8 MB kleiner gewesen. Beide Werte sind Ergebnisse aus Googles Tests. Google nennt sie in seiner Ankündigung.

So beschreibt Google die Migration

Das englischsprachige Android-Developers-Video von 2023 führt durch die frühere TensorFlow-Lite-Integration in Google Play-Diensten mit der Interpreter API.

Für die Umstellung nennt Google die Abhängigkeit com.google.android.gms:play-services-litert:17.0.0 oder neuer. Die Reihenfolge für eine App, die LiteRT bisher mitliefert, ist:

  1. Die Abhängigkeit com.google.android.gms:play-services-litert:17.0.0 oder neuer hinzufügen.
  2. Eine gebündelte litert-Abhängigkeit entfernen, falls die App sie bisher verwendet.
  3. LiteRT mit aktivierter GPU-Unterstützung initialisieren und die Umgebung abwarten.
  4. Diese Umgebung beim Erstellen eines CompiledModel übergeben.

Google stuft die bisherigen GPU-Delegate- und Custom-Delegate-APIs als veraltet ein. Für GPU-Beschleunigung nennt das Unternehmen CompiledModel sowie die Compiler Plugin- und Dispatch-APIs als Nachfolger.

Das englischsprachige Video von Android Developers aus dem Jahr 2023 führt durch den früheren TensorFlow-Lite-Interpreter in Google Play-Diensten. Es bietet historischen Kontext zu der CPU-Route.

Plattformen, GPU-Auswahl und weitere API-Änderungen

Google nennt Android 7 (API-Level 24) als Mindestversion für Smartphones, Wear OS 4 für Wearables und Android 11 für Android Automotive OS. Die Laufzeit verwendet laut Google OpenCL, wenn es verfügbar ist, und andernfalls OpenGL. Der beschriebene Rückfall auf die CPU gilt, wenn eine App sowohl GPU als auch CPU anfordert und keine nutzbare GPU vorhanden ist.

Google zufolge beginnt die Entfernung von NNAPI im Jahr 2027. Ältere SDKs erhalten nach Googles Angabe nur noch kritische Sicherheitskorrekturen. An Unterstützung für NPUs in Google Play-Diensten arbeitet das Unternehmen noch.