Sztuczna inteligencja potrafi generować obrazy, pisać kod, tworzyć transkrypcje. Atakuje wiele frontów jednocześnie, ale jej pewność sukcesu jest jeszcze daleka. Jednym z najbardziej złożonych obszarów jest muzyka: wcześniej badaliśmy takie inicjatywy jak MusicLM, SongR AI (z głosem i tekstem) oraz TextToSample, ale jak dobry jest algorytm w rozdzielaniu instrumentów? Projekt free-music-demixer chce się tego dowiedzieć dzięki platformie automatycznej, bezpłatnej i działającej offline.
Rozdzielanie źródeł piosenki nie jest nowością. W rzeczywistości usuwanie głosu w celu stworzenia wersji karaoke to jeden z najczęstszych przykładów separacji, ale aplikacje karaoke na Androida i YouTube przejęły część tej ciężkiej pracy. Niemniej jednak pozostaje to dobrym ćwiczeniem dla nowych algorytmów. Z tym na myśli trafiamy do free-music-demixer, platformy do separacji źródeł opartej na Open-Unmix i wstępnie wytrenowanym modelu UMX-L.
Jak rozdzielić źródła piosenki za pomocą free-music-demixer
Demixer działa lokalnie w przeglądarce, a jedynym pobraniem, jakiego wymaga, jest model o średnim rozmiarze 45 megabajtów (nie widziałem żadnego wskaźnika postępu, więc trzeba poczekać, aż witryna zgłosi zakończenie). Reszta to kwestia wybrania utworu do przetworzenia i kliknięcia przycisku „Wczytaj audio i rozdziel”.
W ciągu kilku minut free-music-demixer przedstawi pięć plików audio z wynikami: Bass, Drums, Vocals, Other i Karaoke. Oczywiście wyniki zależą od wielu czynników, od jakości oryginalnego utworu po gatunek, przez tempo i rodzaj obecnych instrumentów. Moje testy były ograniczone, ale mogę powiedzieć, że wykonał całkiem przyzwoitą robotę przy izolowaniu perkusji i generowaniu wersji karaoke.
Na koniec witryna zawiera demo (na wypadek, gdyby z jakiegoś powodu nie można było uruchomić modelu) oraz specjalny tryb, który rozdziela źródła partiami, przetwarzając więcej niż jeden utwór naraz. Jej twórca ostrzega również, że free-music-demixer wywiera nieco dodatkowego nacisku na procesor i pamięć RAM, a licencja UMX-L zezwala tylko na użycie niekomercyjne. Link poniżej!.
Oficjalna strona: Kliknij tutaj
