24.05.2007, autor: Ing. Robert Krejčí, kategorie: Signály

Syntéza zpěvu pomocí protokolu MIDI

realizovaná v Matlabu
Logo MIDI

31DZR – Digitální zpracování signálů řeči

Ing. Robert Krejčí

  1. Zadání

  2. Teoretická část: MIDI a syntéza řeči

  3. Praktická část: realizace úlohy v Matlabu

  4. Závěr

  5. Použitá literatura

Tip: Pokud jste vlastníkem elektronického klávesového hudebního nástroje a nějakého dalšího MIDI zařízení a chcete je propojit mezi sebou, pak si u nás můžete vybrat také nějaký MIDI kabel.

Zadání

  • Prověřte možnost syntézy zpěvu pomocí protokolu MIDI.

  • Vytvořte syntetizér zpěvu, který ze vstupního MIDI souboru vytvoří hlasovou sekvenci zpěvu.

  • Zaměřte se především na syntézu českých samohlásek.

MIDI

  • MIDI = Musical Instruments Digital Interface, Digitální rozhraní hudební elektroniky

  • Komunikace mezi hudebními nástroji.

  • Přehrávání hudebních skladeb, přenos datových bloků mezi hudebními nástroji, řízení scénické techniky a vizuálních efektů při hudební produkci.

  • Obecné rozšíření: hudební nástroje, zvukové karty, mobilní telefony.

MIDI povely

MIDI klávesy

  • Základ MIDI komunikace

  • Standardně: 19 povelů

  • Stavový byte + několik datových bytů

  • Povely typu:
    • <Nota zapnuta>, <Nota vypnuta>, <Kontrolér>, <Ohýbání tónu>
    • <Reset sběrnice>
    • <Start>, <Stop>

<Nota zapnuta>, <Nota vypnuta>

Piáno

  • Výchozí stav: pouze synchronizační povely

  • Stisknuta klávesa C3: <Nota zapnuta nota=C3 rychlost=...>

  • Klávesa je držena: pouze synchronizační povely

  • Klávesa je uvolněna <Nota vypnuta nota=C3 rychlost=...>

<Kontrolér>

Piáno

  • Potenciometry, tlačítka, otočná kolečka, fadery, ...

  • Fyzické na MIDI zařízení, nebo virtuální (grafické) v hudebním softwaru

  • Řízení parametrů zvuku:
    • hlasitost
    • vibráto
    • stereo-pozice
    • volba nástroje
    • jemné ladění
    • náběh, dozvuk
    • nožní pedály
    • efekty: reverb, tremolo, chorus

Syntéza řeči

Signál řeči

  • TTS = Text to Speech = převod textu do řeči

  • Dvě fáze:

  1. Zpracování textu

    • Velmi náročná úloha

    • Fonetická transkripce = převedení psaného textu do přesných slov, která se mají syntetizovat

    • Výpočet prosodie (intonace, emoce)

  2. Číslicová syntéza

    • Formantová syntéza

    • Konkatenační syntéza: řetězení segmentů řeči; difóny, trifóny

Syntéza zpěvu

Noty Ovčáci čtveráci

  • Podstatně jednodušší úloha oproti syntéze TTS

  • Odpadá odhad prosodie: intonace hlasu je zadána!

  • Lze použít MIDI protokol = výsledek této práce. Postup:

    • Zápis notového záznamu

    • Opatření textem, který má být zpíván

    • Pomocí kontrolérů lze řídit parametry zpěvu

Postup při syntéze zpěvu

  • Příprava MIDI souboru v notačním programu (Cakewalk Sonar) a opatření not textem

Příprava MIDI souboru v notačním programu (Cakewalk Sonar) a opatření not textem

Analyzující část

  • Z notačního programu se vyexportuje soubor *.mid ve formátu SMF0.

  • Analýza MIDI souboru mimo reálný čas: vytvoření „plánovací“ tabulky v Matlabu:

  • (Sloupečky jsou: rel. čas, nota, hlasitost, délka, text)

Plánovací tabulka

Syntetizující část

  • Program prochází vytvořenou tabulku:

  • Z čísla noty vypočítá její frekvenci – F0

  • Vytvoření tónu hlasivek:

    Tón hlasivek

  • Pro každou notu najde samohlásku (viz zadání)

  • Určí formantové kmitočty: F1 – F4

  • Průchod hlasivkového tónu formantovými rezonátory:

    Tón hlasivek

Ukázky syntézy zpěvu

Závěr

  • Pomocí MIDI protokolu lze řídit syntézu zpěvu.

  • Využití:

    • Působivý efekt při hudební produkci.

    • Lze provádět efekty, které by klasickými analyzátory nebyly možné.

    • Lze řídit libovolné parametry zpěvu – přiřazení musí být definované výrobcem.

    • Pomoc při kompozici skladeb a při výuce zpěvu.

  • Úskalí

    • MIDI standardně nepodporuje češtinu – nutno používat zástupné znaky.

    • Je potřeba vytvořit přirozenější průběh tónu hlasivek.

Použitá literatura

 
{e_like}
 
 
Nahoru