OpenAI首次展示音頻模型Voice Engine，15秒即可復(fù)制原音，生成的聲音太逼真了！

激石Pepperstone(http://qintiejiang.com/)報(bào)道：

3月30日凌晨，OpenAI在官網(wǎng)首次展示了全新自定義音頻模型“Voice Engine”。

用戶只需要提供15秒左右的參考聲音，通過(guò)Voice Engine就能生成幾乎和原音一模一樣的全新音頻，在清晰度、語(yǔ)音連貫、音色、自然度等方面比市面上多數(shù)產(chǎn)品都強(qiáng)很多。

除了能合成音頻之外，OpenAI還展示了Voice Engine很多其他際商業(yè)用途，例如，一位失去聲音表達(dá)能力的女孩，在Voice Engine幫助下能像以前一樣正常發(fā)音說(shuō)話。

Voice Engine功能展示

OpenAI并非展示了一些簡(jiǎn)單的demo，而是一些實(shí)際場(chǎng)景化用例，這也就是說(shuō)Voice Engine的技術(shù)已經(jīng)非常成熟。

Age of Learning 是一家兒童教育公司，他們一直在使用Voice Engine生成各種有聲讀物。同時(shí)還通過(guò)與GPT-4的相結(jié)合使用，創(chuàng)建實(shí)時(shí)、個(gè)性化的回答與學(xué)生互動(dòng)。

例如，使用一段15秒的參考音頻。

就可以生成幾乎一模一樣的語(yǔ)音。

除了語(yǔ)音合成之外，Voice Engine還能提供視頻翻譯功能，可以將一種視頻語(yǔ)音無(wú)差別的翻譯成多國(guó)語(yǔ)言。

HeyGen是一家AI視頻合成平臺(tái)，主要幫助企業(yè)開發(fā)商品展示的“數(shù)字人”。他們通過(guò)使用Voice Engine進(jìn)行視頻翻譯，擴(kuò)展至多國(guó)語(yǔ)言來(lái)擴(kuò)大全球覆蓋受眾。

輸入一段原參考語(yǔ)音

就能將其轉(zhuǎn)化成中文語(yǔ)音

或者日文語(yǔ)音

幫助聲音受損的人恢復(fù)聲音：諾曼-普林斯生命科學(xué)研究所正在測(cè)試一項(xiàng)實(shí)驗(yàn)，正通過(guò)Voice Engine幫助那些因腫瘤或神經(jīng)系統(tǒng)病因，導(dǎo)致語(yǔ)言障礙的患者恢復(fù)聲音。

目前，他們已經(jīng)幫助一位因血管性腦腫瘤，而失去流利語(yǔ)言表達(dá)能力的年輕女患者恢復(fù)了聲音。

下面這段聲音是女患者的，她已經(jīng)無(wú)法清楚表達(dá)自己說(shuō)的話。

通過(guò)提供她之前正常的語(yǔ)音，用Voice Engine進(jìn)行轉(zhuǎn)譯。

現(xiàn)在這位女患者可以正常與其他人交流了。

OpenAI表示，其實(shí)他們?cè)?022年底便開發(fā)了Voice Engine，并將其用于支持文本到語(yǔ)音 API 中的預(yù)設(shè)語(yǔ)音以及 ChatGPT 的語(yǔ)音和朗讀功能。

但出于安全考慮一直沒(méi)有全面公測(cè)，目前也只是小范圍測(cè)試。因?yàn)橄啾任谋?、視頻，音頻的造假能力太強(qiáng)了幾乎無(wú)法分辨出來(lái)。

此外，OpenAI首席技術(shù)官M(fèi)ira Murati在前不久接受的采訪時(shí)表示，未來(lái)Sora生成的視頻會(huì)帶聲音的，很可能為其提供聲音的就是Voice Engine。?????????