Au cours des dernières semaines, les utilisateurs ont généré des millions d'images grâce à l'intelligence artificielle. Des scènes fantastiques, des combinaisons absurdes, des réussites extraordinaires et des erreurs épouvantables font partie intégrante de ces modèles qui continuent de progresser. Mais les équipes de NVIDIA Research travaillent déjà sur ce que l'on pourrait considérer comme leur saut évolutif : GET3D, un système génératif pour objets tridimensionnels avec textures, à partir d'un ensemble de données basé sur des images 2D.
« Paysage d'une ancienne forêt, saison d'automne, feuilles brunes et dorées, rayons de soleil traversant les arbres, vieux chemin usé, peinture à l'huile sur toile, très détaillé »
« Paysage d'un ancien bois, saison d'automne, feuilles brunes et dorées, rayons de soleil passant entre les arbres, chemin vieux et usé, huile sur toile, haut détail »
Après une dizaine de minutes et plusieurs révisions, Stable Diffusion a présenté ceci :
Et il ne s'efforce même pas, car j'ai utilisé un prompt assez générique. Si j'avais injecté un style plus spécifique ou le nom d'un artiste, le résultat serait encore meilleur. Ce n'est qu'un échantillon de ce que la génération d'images par intelligence artificielle peut faire aujourd'hui. Elle a encore beaucoup de travail, surtout en ce qui concerne l'anatomie humaine (des mains à sept doigts, trois bras, etc.), mais le temps et la technologie jouent en sa faveur.
D'ailleurs, nous avons déjà parlé de la génération de vidéo à partir de texte, et voici maintenant le tour de NVIDIA avec son projet GET3D, qui vise à créer des objets et des personnages tridimensionnels :
NVIDIA GET3D : de la 2D à la 3D grâce à l'IA
L'un des aspects les plus intéressants de GET3D est que son entraînement repose sur un ensemble de données d'images en deux dimensions. Tous les modèles générés adoptent un format populaire qui permet de les importer facilement dans les principales applications d'édition, que ce soit pour un rendu ultérieur ou leur insertion dans des moteurs graphiques. Bien sûr, un algorithme vaut ce que vaut son entraînement, et GET3D ne fait pas exception. La brève démo de Nvidia se concentre sur les voitures (des camionnettes aux véhicules de course), les motos, les chaises, les personnes et les animaux.
L'une des priorités de GET3D est le détail. Tous les modèles génératifs précédents souffrent de limitations importantes sur ce point, mais GET3D mise sur une plus grande taille et diversité des ensembles de données, tout en optimisant la quantité : Nvidia anticipe qu'avec un seul GPU (j'imagine quelque chose comme un A100), GET3D peut générer 20 objets par seconde, et son entraînement avec un million d'images a pris deux jours (encore une fois, avec des GPU A100).
La meilleure partie ? GET3D est open source. Nvidia a déjà créé un profil GitHub, et partagera plus d'informations dans les prochains jours.
Annonce officielle : Cliquez ici
