Nelle ultime settimane, gli utenti hanno generato milioni di immagini con l'intelligenza artificiale. Scenari fantastici, combinazioni assurde, successi straordinari ed errori spaventosi sono una parte essenziale di questi modelli che continuano ad avanzare, ma i ricercatori di NVIDIA Research stanno già lavorando a quello che potremmo considerare il loro salto evolutivo: GET3D, un sistema generativo per oggetti tridimensionali con texture, partendo da un dataset basato su immagini 2D.
«Paesaggio di un'antica foresta, stagione autunnale, foglie marroni e dorate, raggi di sole che filtrano tra gli alberi, vecchia strada consumata, pittura a olio su tela, altamente dettagliato»
«Paesaggio di un'antica foresta, stagione autunnale, foglie marroni e dorate, raggi di sole che filtrano tra gli alberi, vecchia strada consumata, pittura a olio su tela, altamente dettagliato». Dopo circa dieci minuti e diverse revisioni, Stable Diffusion ha presentato questo:
E non sta nemmeno facendo il suo massimo sforzo, perché ho usato un prompt abbastanza generico. Se avessi iniettato uno stile più specifico o il nome di qualche artista, il risultato sarebbe ancora migliore. Questo è solo un assaggio di ciò che può fare la generazione di immagini con intelligenza artificiale oggi. Ha ancora molto lavoro davanti, specialmente per quanto riguarda l'anatomia umana (mani con sette dita, tre braccia, ecc.), ma il tempo e la tecnologia sono dalla sua parte.
In effetti, abbiamo già parlato di la generazione di video tramite testo, e ora tocca a NVIDIA con il suo progetto GET3D, che punta alla costruzione di oggetti e personaggi tridimensionali:
NVIDIA GET3D: Da 2D a 3D, con intelligenza artificiale
Uno degli aspetti più interessanti di GET3D è che il suo addestramento si basa su un dataset con immagini in due dimensioni. Tutti i modelli generati adottano un formato popolare che consente di importarli facilmente nelle principali applicazioni di modifica, sia per un rendering successivo, sia per l'inserimento in motori grafici. Ovviamente, ogni algoritmo è buono quanto l'addestramento che riceve, e GET3D non fa eccezione. La breve demo di NVIDIA si concentra su auto (dai furgoni ai veicoli da corsa), motociclette, sedie, persone e animali.
Una delle priorità per GET3D è il dettaglio. Tutti i modelli generativi precedenti soffrono di limitazioni importanti in questo punto, ma GET3D punta a una maggiore dimensione e diversità nei dataset, mentre ottimizza la quantità: NVIDIA anticipa che usando una singola GPU (immagino qualcosa come un A100), GET3D può generare 20 oggetti al secondo, e il suo addestramento con un milione di immagini ha richiesto due giorni (ancora una volta, con GPU A100).
La parte migliore? GET3D è open source. NVIDIA ha già creato un profilo su GitHub e condividerà maggiori informazioni nei prossimi giorni.
Annuncio ufficiale: Clicca qui
