Nachdem sie Millionen und Abermillionen von Bildern erzeugt haben, bereiten sich die KI-Systeme darauf vor, Bewegung und Dimension zu gewinnen. Die Rolle des 3D-Modellings in der Industrie ist gigantisch, und wenn eine neue Plattform den Erstellungsprozess weiter beschleunigen kann, könnte das eine echte Revolution auslösen. Mit diesem Gedanken entdecken wir Point-E, ein System von OpenAI, das durch die Kombination von Text und Punktwolken dreidimensionale Modelle erzeugt.
Von Astronauten-Kätzchen bis hin zu fantastischen Szenen voller Details haben generative Bildmodelle eine Explosion von Aktivität im Web ausgelöst. Ein Teil der Öffentlichkeit hat sich darauf konzentriert, die rechtliche und ethische Situation einiger Entwicklungen zu diskutieren, aber eines ist sicher: Der Fortschritt dieser Technologie wird nicht aufhören.
Was steht als Nächstes auf der Liste? Neben dem Video ist das 3D-Modellierung eine der Prioritäten. Im Allgemeinen haben professionelle Werkzeuge eine ziemlich komplexe Lernkurve, aber wenn das Konzept Text-zu-3D Wirklichkeit wird, wäre es nicht abwegig, von einer Demokratisierung des dreidimensionalen Designs zu sprechen. In diese Richtung zielt OpenAI nach der Bestätigung der Öffnung seines Projekts Point-E, ein Äquivalent zu DALL-E für 3D-Objekte.
Point-E: Von Text zu 3D-Objekten mit KI
Laut dem offiziellen Paper ist einer der Hauptvorteile von Point-E seine Geschwindigkeit. Während DreamFusion von Google eine erhebliche Menge an Zeit und Grafikkarten benötigt, braucht Point-E weniger als zwei Minuten auf einer Nvidia V100. Jim Fan von Nvidia erklärt, dass Point-E 600-mal schneller ist als DreamFusion, obwohl es qualitativ darunter liegt.
Das liegt an der Generierungsmethode von Point-E. Das System verwendet Punktwolken, um das dreidimensionale Objekt darzustellen. Diese Einschränkung reduziert die Präzision bestimmter Merkmale wie Textur oder endgültige Form, aber die Objekte sind viel einfacher zu reproduzieren. Der Trick von Point-E, um dies zu kompensieren, ist die Umwandlung der Punktwolke in Netze (sprich 'Meshes'). In lockeren Worten können wir von drei Modellen sprechen: Eines von Text zu Bild, ein anderes von Bild zu 3D-Punktwolke und das dritte für das Mesh.
OpenAI trainierte dieses System mit mehreren Millionen 3D-Objekten, einschließlich Metadaten. Point-E macht oft Fehler, insbesondere bei der Interpretation des vom ersten Modell erzeugten Bildes, aber es gibt noch viel Arbeit, die unweigerlich zu optimierteren Modellen führen wird.
Offizielle Website: Hier klicken
Zugang zur Studie (PDF): Hier klicken
