TTS (text-to-speech, synteza mowy z tekstu) przekształca tekst w mowę. W przypadku Ming-3.0-tts-0.5B pobierasz checkpoint z wagami na licencji MIT, ale do uruchomienia syntezy potrzebujesz osobnego repozytorium z kodem inferencyjnym. Alibaba Cloud opisuje Qwen-Audio-3.1-TTS-Flash jako model do strumieniowej syntezy mowy w czasie rzeczywistym.

To ważne przy planowaniu integracji: sam plik z wagami nie jest kompletnym środowiskiem do generowania dźwięku.

Wagi Ming i kod potrzebny do inferencji

Ming-3.0-tts-0.5B to gęsty checkpoint o 0,5 mld parametrów, zbudowany na bazie Qwen2.5-0.5B. Jego oficjalna karta modelu podaje licencję MIT i rozdziela dystrybucję checkpointu od uruchamiania modelu: repozytorium na Hugging Face udostępnia wagi, a kod inferencyjny i zależności znajdują się w osobnym repozytorium GitHub.

Inferencja to etap, w którym model przetwarza dane wejściowe i tworzy wynik, tutaj mowę z tekstu. Przy wdrożeniu Ming trzeba więc uwzględnić zarówno pobranie checkpointu, jak i konfigurację osobnego kodu.

Jakie konfiguracje testowano

inclusionAI podaje, że opisany setup testowano z CUDA 12.4 na kartach NVIDIA H800-80GB i H20-96G. Są to konfiguracje użyte w testach, a nie określone wymagania minimalne. Karta wymienia też flash-attn jako opcjonalne, a pynini jako zależność dla ścieżki normalizacji tekstu FST; normalizację można wyłączyć.

Model ma próbkować dźwięk z częstotliwością 44,1 kHz. To parametr wyjściowego audio, nie informacja o szybkości generowania.

Języki, sterowanie głosem i wyniki po hiszpańsku

Karta Ming wymienia siedem języków: chiński, angielski, niemiecki, hiszpański, francuski, koreański i japoński. Wspomina też o dialektach syczuańskim i kantońskim. W zadaniu MULTILINGUAL dla hiszpańskiego trzeba ustawić language_id; ten sam wymóg dotyczy niemieckiego, francuskiego, koreańskiego i japońskiego.

inclusionAI wymienia klonowanie głosu na podstawie krótkiej próbki, projektowanie głosu z opisu w języku naturalnym oraz sterowanie sposobem wypowiedzi. Karta podaje ponad 100 wbudowanych głosów chińskich, pięć angielskich i 14 znaczników tekstowych. Kontrolować można emocje, tempo, wysokość i głośność. inclusionAI zaznacza przy tym, że podobieństwo głosu wypada słabiej niż zgodność treści, a regulacja wysokości jest mniej dokładna niż sterowanie tempem i głośnością.

Dla hiszpańskiego inclusionAI podaje WER na poziomie 1,099% oraz SIM wynoszący 0,763 w swojej ewaluacji wielojęzycznej na zbiorze testowym MiniMax. WER to odsetek błędów słów, a SIM jest wskaźnikiem podobieństwa głosu. Są to wyniki opublikowane przez dostawcę dla wskazanej ewaluacji.

Co Alibaba opisuje dla Qwen-Audio-3.1-TTS-Flash

Dokumentacja Alibaba Cloud opisuje Qwen-Audio-3.1-TTS-Flash jako model do syntezy mowy w czasie rzeczywistym, z obsługą streamingu i głosów systemowych. Streaming oznacza tu generowanie dźwięku w strumieniu, zamiast czekania na zakończenie całego zadania przed otrzymaniem wyniku.