Die Leute von Meta teilen weiterhin ihre KI-Entwicklungen. Mitte April haben wir uns Animated Drawings angesehen, um Zeichnungen zu animieren, sein Chatbot Llama 2 erschien in den letzten Tagen des Julis, und jetzt ist AudioCraft an der Reihe. Wie der Name nahelegt, konzentriert sich AudioCraft auf die Generierung von Audio mit KI und besteht aus drei Modellen: AudioGen, MusicGen und EnCodec. Der Code ist bereits für alle verfügbar, aber wenn du MusicGen sofort ausprobieren möchtest, kannst du das tun, ohne etwas zu installieren.
Riffusion, MusicLM, Soundraw, SongR. Die Idee, Musik mit KI zu generieren, gewinnt im Netz an Bedeutung. Aus technischer Sicht sind diese Plattformen noch weit von der Bildgenerierung entfernt, aber die Zeit spricht definitiv für sie, und mit jedem neuen Modell werden die Qualitätsparameter weiter verbessert.
So kommen wir zum Projekt AudioCraft von Meta. Diese Bibliothek wurde speziell für Forschung im Bereich Deep Learning zur Audiogenerierung entwickelt und besteht aus drei fortschrittlichen Modellen: AudioGen für Soundeffekte, MusicGen für Musik und EnCodec, ein „neuraler Audio-Codec“ mit hoher Fidelity. Das AudioCraft-Profil auf GitHub enthält den gesamten Code und die Installationsanweisungen, aber du kannst MusicGen jetzt dank der Präsenz von Meta auf HuggingFace ausprobieren.
So erzeugst du Musik mit Prompts mit AudioCraft und MusicGen
Diese Version von MusicGen verfügt über zwei Werkzeuge: ein Feld zur Eingabe unseres Prompt und ein Feld zum Laden einer Melodie oder Mikrofonprobe als Referenz. Wir klicken auf Generate und werden zur Warteschlange weitergeleitet. Im Durchschnitt meldet HuggingFace eine Verzögerung von 600-900 Sekunden, aber bei einigen Tests dauerte das Modell nur halb so lange (natürlich abhängig von der Serverlast). Das Endergebnis ist eine fünfzehn Sekunden lange Probe im MP4-Format.
„Ein lebhafter Barde, der in einer Taverne Laute spielt.“
„Eine bedrohliche, unheilvolle Kirchen-Klaviermelodie, die das Erscheinen eines Feindes in einem Videospiel ankündigt.“
„Soundtrack eines ekstatischen Moments in einer Weltraumschlacht eines Sci-Fi-Films.“
Wie gut funktioniert das? Nun ja... es ist nicht schrecklich. Das Modell bietet keinerlei Kontrolle über Seed oder Intensität, aber es scheint unseren Prompt mit einiger Genauigkeit zu befolgen. Offensichtlich wird die Beschreibung auf Englisch geschrieben, und jede minimale Änderung kann sehr unterschiedliche Melodien erzeugen. Die Grenze von fünfzehn Sekunden ist hier absolut, und wir sollten auch keinen Loop erwarten, um es im Hintergrund eines Projekts zu verwenden, aber ich denke, dass MusicGen das Potenzial hat, ein viel robusteres Werkzeug zu werden.
Zugriff auf MusicGen: Klicke hier AudioCraft bei Facebook: Klicke hier
