Google kondigde op 28 oktober 2026 GPU-inferentie aan voor LiteRT in Google Play services, via de CompiledModel API. LiteRT voert machinelearningmodellen op Android-apparaten uit. Wie de GPU wil gebruiken, moet CompiledModel inzetten; bestaande Interpreter-integraties in Play services blijven op de CPU werken. Google beschrijft de nieuwe route en de migratie.

Wat Googles cijfers over snelheid en appgrootte betekenen

Google meldt dat GPU-inferentie in zijn tests ongeveer 1,4 keer sneller was dan met de oudere TensorFlow Lite GPU delegate. Ook waren apps in Googles tests ongeveer 8 MB kleiner na de overstap van een meegebundelde LiteRT-runtime naar LiteRT in Google Play services. Het gaat om uitkomsten die Google aan zijn eigen tests toeschrijft.

Interpreter voor CPU, CompiledModel voor GPU

De Engelstalige video van Android Developers behandelt de oudere TensorFlow Lite-integratie via de Interpreter API.

Een bestaande integratie met de Interpreter API in Play services kan volgens Google op de CPU blijven draaien. Voor GPU-inferentie is de CompiledModel API nodig. Die keuze bepaalt dus of een app de bestaande CPU-route behoudt of de nieuwe GPU-route gebruikt.

SituatieAPI of vereisteGevolg
Bestaande Interpreter-integratie in Play servicesInterpreterDe app blijft op de CPU draaien.
GPU-inferentie gebruikenCompiledModelDe GPU-route vereist deze API.
Geen bruikbare GPU, terwijl GPU en CPU zijn aangevraagdGPU en CPU aanvragenDe uitvoering valt terug op de CPU.

De Engelstalige video van Android Developers laat een oudere TensorFlow Lite-integratie via de Interpreter API zien. Die geeft historische context bij de CPU-route.

De migratie naar CompiledModel

Google beschrijft deze volgorde voor de overstap. De officiële LiteRT-documentatie voor Google Play services behandelt de integratie.

  1. Voeg com.google.android.gms:play-services-litert:17.0.0 of een nieuwere versie toe.
  2. Verwijder de gebundelde litert-afhankelijkheid als de app die al bevat.
  3. Initialiseer LiteRT met GPU ingeschakeld via setEnableGpu(true) en wacht tot de omgeving klaar is.
  4. Geef die omgeving mee wanneer je de CompiledModel aanmaakt.

Google zegt dat de runtime OpenCL gebruikt als dat beschikbaar is en anders OpenGL. De modelbestanden behouden het .tflite-formaat.

Ondersteunde platforms en API-wijzigingen

Google noemt voor telefoons Android 7, API-niveau 24, of nieuwer. Voor Wear OS geldt versie 4 of hoger; Android Automotive OS wordt ondersteund op Android 11 of hoger. Als de app zowel GPU als CPU aanvraagt en er geen bruikbare GPU beschikbaar is, schakelt de uitvoering over op de CPU.

Google heeft de oudere GPU delegate- en custom delegate-API's verouderd verklaard. Het bedrijf zegt ook dat verwijdering van NNAPI in 2027 begint. SDK's die ouder zijn dan de nieuwste krijgen volgens Google alleen nog kritieke beveiligingsupdates.