Google ha annunciato il 28 ottobre 2026 l’inferenza su GPU per LiteRT in Google Play services tramite CompiledModel. Per eseguire i modelli sulla GPU, gli sviluppatori devono usare questa API; LiteRT è il runtime di Google per l’inferenza locale con modelli di machine learning personalizzati. Google ha presentato l’integrazione e i relativi risultati.
Che cosa indicano i risultati riportati da Google
Google riferisce che nei propri test l’inferenza GPU con LiteRT è stata circa 1,4 volte più veloce rispetto al vecchio GPU delegate di TensorFlow Lite. Per le app passate da LiteRT integrato nel pacchetto a LiteRT distribuito tramite Google Play services, Google riporta inoltre una dimensione inferiore di circa 8 MB nei propri test. Sono risultati attribuiti ai test di Google, non valori garantiti per ogni app o modello.
La distribuzione tramite Play services evita che ogni app includa una propria copia del runtime e dell’acceleratore GPU. Il formato dei modelli resta .tflite.
Interpreter resta per la CPU; per la GPU serve CompiledModel
Chi ha già un’integrazione di Interpreter tramite Google Play services può continuare a usarla per l’inferenza su CPU dopo il passaggio alla dipendenza play-services-litert. Per l’inferenza GPU, invece, occorre spostarsi su CompiledModel. Google ha inoltre deprecato le API del GPU delegate legacy e dei delegate personalizzati.
| Esigenza | API o configurazione | Risultato |
| Mantenere un’integrazione Interpreter esistente | Interpreter | Inferenza su CPU |
| Usare la GPU | CompiledModel | Inferenza GPU |
| Non è disponibile una GPU utilizzabile e l’app richiede GPU e CPU | Richiesta di entrambi | Passaggio alla CPU |
La tabella riassume la scelta pratica: mantenere Interpreter significa restare sul percorso CPU; per la GPU serve CompiledModel. Google descrive il passaggio alla CPU soltanto quando l’app richiede entrambe le opzioni e non è disponibile una GPU utilizzabile.
I passaggi indicati per la migrazione
La dipendenza richiesta è com.google.android.gms:play-services-litert:17.0.0 o una versione successiva. La documentazione ufficiale di LiteRT per Google Play services descrive l’integrazione. L’ordine indicato è:
- Aggiungere la dipendenza
com.google.android.gms:play-services-litert:17.0.0o successiva. - Se l’app include già LiteRT nel proprio pacchetto, rimuovere la dipendenza
litertintegrata. - Inizializzare LiteRT abilitando la GPU con
setEnableGpu(true)e attendere la disponibilità dell’ambiente. - Passare quell’ambiente quando si crea un CompiledModel.
Google mostra l’inizializzazione in Kotlin. La stessa sequenza chiarisce il cambiamento essenziale: aggiungere la libreria non basta per ottenere l’inferenza GPU, che richiede anche la creazione del modello tramite CompiledModel.
Versioni supportate e accelerazione
Google indica come requisiti minimi Android 7, livello API 24, per i telefoni; Wear OS 4 per gli smartwatch; e Android 11 per Android Automotive OS. Per l’esecuzione GPU, LiteRT usa OpenCL quando disponibile e OpenGL negli altri casi. Google riporta questi requisiti e comportamenti nell’annuncio.
Google ha indicato che la rimozione di NNAPI inizierà nel 2027; gli SDK più vecchi riceveranno soltanto aggiornamenti di sicurezza critici.
