La gente di Meta continua a condividere i suoi sviluppi di intelligenza artificiale. A metà aprile abbiamo esplorato Animated Drawings per animare disegni, il suo chatbot Llama 2 è apparso negli ultimi giorni di luglio, e ora è il turno di AudioCraft. Come suggerisce il nome, AudioCraft si concentra sulla generazione di audio con intelligenza artificiale, e consiste di tre modelli: AudioGen, MusicGen e EnCodec. Il codice è già disponibile per tutti, ma se vuoi provare MusicGen in questo istante, puoi farlo senza installare nulla.
Riffusion, MusicLM, Soundraw, SongR. L'idea di generare musica con intelligenza artificiale sta guadagnando trazione sul Web. Da un punto di vista tecnico, queste piattaforme sono ancora lontane se confrontate con la generazione di immagini, ma il tempo è decisamente dalla loro parte e con ogni nuovo modello i parametri di qualità continueranno a migliorare. Così arriviamo al progetto AudioCraft di Meta. Questa libreria è stata progettata appositamente per la ricerca sull'apprendimento profondo nella generazione audio e si divide in tre modelli avanzati: AudioGen per la creazione di effetti sonori, MusicGen per generare musica e EnCodec, un «codec audio neurale» ad alta fedeltà. Il profilo di AudioCraft su GitHub contiene tutto il codice e le istruzioni di installazione, ma puoi provare MusicGen in questo momento grazie alla presenza di Meta su HuggingFace.
Come generare musica con prompt usando AudioCraft e MusicGen
Questa versione di MusicGen possiede due strumenti: una casella per inserire il nostro prompt, e un'altra che ci permette di caricare una melodia o un campione di microfono come riferimento. Facciamo clic su Generate, e questo ci porterà alla coda di attesa. In media, HuggingFace riporta una attesa di 600-900 secondi, ma in alcuni test, il modello ha impiegato la metà di quel tempo (ovviamente, dipenderà dal carico sui server). Il risultato finale è un campione di quindici secondi, in formato MP4.
«un bardo vivace che suona il liuto in una taverna»
«una melodia cupa e minacciosa al pianoforte da chiesa, che anticipa l'apparizione di un nemico in un videogioco»
«colonna sonora di un momento estatico in una battaglia spaziale di un film di fantascienza»
Quanto funziona bene? Beh… non è terribile. Il modello non offre alcun controllo di seed o intensità, ma sembra seguire con una certa precisione il nostro prompt. Ovviamente, la descrizione si scrive in inglese, e qualsiasi modifica minima può generare melodie molto diverse. Il limite di quindici secondi è assoluto qui, e non dobbiamo nemmeno aspettarci un «loop» per utilizzarlo come sottofondo in qualche progetto, tuttavia, credo che MusicGen abbia il potenziale per diventare uno strumento molto più robusto.
Accedi a MusicGen: Clicca qui
AudioCraft su Facebook: Clicca qui
