一名戴著手套的女歌唱家邊演唱邊做手勢，隨著手勢變化，3D交互手套發(fā)出高低起伏的不同聲音，原本女歌唱家的清唱變成一段二重奏

發(fā)明者西德尼 菲爾斯展示如何操作3D交互手套

 
3D交互手套聲似電影復仇里黑武士的聲音

科學家研發(fā)出一種會說話的3D式交互手套，與人類優(yōu)雅的聲音相比之下，其發(fā)音聲似電影復仇里黑武士的神秘聲音，未來或可實現用手勢唱歌。研究者的初衷是幫助失去語言能力或有語言交流障礙的人“說話”，它讓傳統(tǒng)意義上不能講話的人發(fā)出聲音，但又不同于手語，因為使用者不必特意去學習手勢的含義。隨著研究的深入，科學家們將開發(fā)手套的音樂功能，從而讓人們用手勢唱歌。有研究稱，手勢不僅由骨骼肌肉驅動，而且受人的信念、意識的驅使，是涉及人的思維活動的高級行為。在虛擬現實系統(tǒng)中，手是用戶模型中十分重要的動作與感知關系模型，而手勢則是3D交互任務和技術的手段。

3D交互式手套是溫哥華英屬哥倫比亞大學——西尼 菲爾斯（Sidney Fels）的最新科研成果，使用者只要戴上它做出各種手勢就可以合成為樂曲或一段話。據悉，費爾斯先前開發(fā)出“手套交談”系統(tǒng)，采用神經網絡將用戶手勢轉換成手勢語言參數，通過語言合成器合成為語言輸出。菲爾斯說：“3D交互式手套通過復制聲帶的每個動作發(fā)出電腦合成音，這是很復雜困難的過程，就好像通過打電話語音發(fā)送郵件一樣”。對于用戶來說，最大的困難挑戰(zhàn)就是分別學習左右手套的不同功能，兩只手的不同手勢代表不同聲音片段，比如，右手握緊代表輔音、張開代表元音、左手控制音節(jié)的長短、右手抬起時代表高聲調、處于水平位置時是平聲調。右邊的手套象征著開放和閉合的聲道，它包含運動傳感器，通過手的運動來檢測佩戴者的開放和閉合聲音。而左手套則配備按鈕設施激活像“P”和“B”這種清輔音，元音是通過開放聲道發(fā)出的，輔音則是閉合聲道發(fā)出的，例如“sh”和“zz”。 3D交互式手套隨著手的移動，通過傳感器定位，來改變音調，而音量是通過腳踏板設備來控制的，3D交互式手套是用八個人造聲帶壓縮鼻腔共鳴共同作用發(fā)出聲音。

據悉，科學家致力于發(fā)展人類語音系統(tǒng)已有數十年之久，起初，這種手套是被用于聲音合成器用途，直到最近，他們才嘗試開發(fā)出模仿人類聲帶的發(fā)音系統(tǒng)，并計劃研發(fā)它的唱歌功能。不過，這項技術現階段還存在不足，比如，說出帶有情感色彩的詞時，它的聲音還不夠擬人，而是像機器人講話，此外，學習如何操作需要大約100小時。不過隨著科技的發(fā)展，相信終有一天，3D交互手套會完美的表達人類的優(yōu)美語言。