Après avoir généré des millions d'images, les intelligences artificielles s'apprêtent à gagner en mouvement et en dimension. Le rôle de la modélisation 3D dans l'industrie est considérable, et si une nouvelle plateforme parvient à dynamiser encore davantage le processus de création, elle pourrait déclencher une véritable révolution. C'est dans cet esprit que nous avons découvert Point-E, un système conçu par OpenAI qui génère des modèles tridimensionnels en combinant texte et nuages de points.
Des chatons astronautes aux scènes fantastiques pleines de détails, les modèles générateurs d'images ont provoqué une explosion d'activité sur le Web. Une partie du public s'est concentrée sur le débat éthique et juridique de certains développements, mais une chose est sûre : l'avancée de cette technologie ne va pas s'arrêter.
Qu'est-ce qui suit dans la liste ? En plus de la vidéo, une autre priorité est la modélisation 3D. Généralement, les outils professionnels ont une courbe d'apprentissage assez complexe, mais si le concept de «texte-vers-3D» devient une réalité, il ne serait pas absurde de parler de démocratisation de la conception tridimensionnelle. C'est dans cette direction que va l'équipe d'OpenAI après avoir confirmé l'ouverture de son projet Point-E, un équivalent de DALL-E pour les objets 3D.
Point-E : du texte aux objets 3D avec l'intelligence artificielle
Selon le document officiel, l'un des principaux avantages de Point-E est sa vitesse. Alors que DreamFusion de Google a besoin d'une quantité importante de temps et de cartes graphiques pour générer des modèles, Point-E ne prend que moins de deux minutes sur une unité Nvidia V100. Jim Fan de Nvidia explique que Point-E est 600 fois plus rapide que DreamFusion, bien qu'il se situe en dessous en termes de qualité.
Cela est dû à la méthode de génération de Point-E. Le système utilise des nuages de points pour représenter l'objet tridimensionnel. Cette limitation réduit la précision de certaines caractéristiques comme la texture ou la forme finale, mais les objets sont beaucoup plus faciles à reproduire. L'astuce de Point-E pour compenser cela est la conversion du nuage de points en maillage (lisez « meshes »). En termes simples, nous pouvons parler de trois modèles : un de texte à image, un autre d'image à nuage de points 3D, et le troisième chargé du maillage.
OpenAI a entraîné ce système avec plusieurs millions d'objets 3D, y compris des métadonnées. Cependant, Point-E commet souvent des erreurs, en particulier lors de l'interprétation de l'image générée par le premier modèle, mais il y a beaucoup de travail à venir, ce qui mènera inévitablement à des modèles plus optimisés.
Site officiel : Cliquez ici
Accédez à l'étude (PDF) : Cliquez ici
