01 背景傳統(tǒng)基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)音合方法 TTS 已成為主流，技術(shù)相對(duì)比較成熟，但是需大量發(fā)音人的原始音數(shù)據(jù)，制作成本對(duì)較高。因此，少語(yǔ)音樣本的自定義 TTS 技術(shù)是語(yǔ)音合成領(lǐng)域的一大熱子方向。由于極少據(jù)量的限制，工業(yè)業(yè)界推出多種方法提高 TTS 合成效果。域自適應(yīng)的移學(xué)習(xí)是一種較為流的方法，第一階預(yù)訓(xùn)練產(chǎn)出語(yǔ)音合的基礎(chǔ)大模型，第階段基于少量數(shù)據(jù)大模型參數(shù)上進(jìn)行適應(yīng)，這種方法能大限度的還原發(fā)音格。在產(chǎn)品層面，著 TTS 技術(shù)的快速發(fā)展，自定義 TTS 逐漸成為智能助手越來(lái)越關(guān)注方向。它可以滿足戶個(gè)性化的需求，用自己喜歡的音色行播報(bào)。但目前業(yè)通常生成自定義 TTS 的方式 (簡(jiǎn)稱自定義 TTS1.0) 是需要用戶錄制多句指定文案音頻 (通常 20 句左右), 生成相關(guān)音色，這種方需要檢測(cè)周?chē)h(huán)境指定錄制文案，導(dǎo)效率低和音色選擇的局限性。本文主介紹的是基于多算融合的自定義 TTS2.0 方案 (簡(jiǎn)稱自定義 TTS2.0), 可以有效的提高用戶聲音成效率，滿足用戶性化的音色需求，時(shí)也可以給用戶帶一定的驚喜感。下展示 OPPO 小布助手的產(chǎn)品交互例圖 (左圖為基于用戶數(shù)據(jù)的主動(dòng)推，右圖為基于對(duì)話據(jù)的自定義 TTS 生成)。圖 1 自定義 TTS2.0 交互圖1.1 技術(shù)關(guān)鍵詞以下介一下自定義 TTS2.0 方案中用到的一些關(guān)鍵技術(shù)。小樣本合成: 基于少量訓(xùn)練樣本就能模的語(yǔ)音合成技術(shù)可以方便、快捷地每個(gè)用戶定制語(yǔ)音報(bào)效果。●語(yǔ)音合訓(xùn)推一體: 合成系統(tǒng)的訓(xùn)練和推理環(huán)緊密耦合在一起，以快速為海量用戶制模型和服務(wù)?！?紋比對(duì): 通過(guò)發(fā)音人的語(yǔ)音與已存儲(chǔ)發(fā)音人模型進(jìn)行置度計(jì)算，最終給出決，以決策當(dāng)前發(fā)人身份是否于為主音人。●聲紋聚類(lèi): 通過(guò)對(duì)同一設(shè)備的多次交互數(shù)據(jù)進(jìn)行份歸類(lèi)，找出交互數(shù)最多的主發(fā)音人●音質(zhì)檢測(cè): 通過(guò)對(duì)交互語(yǔ)音的分析可以衡量出語(yǔ)音信的質(zhì)量，比如: 噪聲干擾程度、發(fā)音完整性、有效音長(zhǎng)、內(nèi)容豐富度等。1.2 技術(shù)領(lǐng)先性作為業(yè)界首個(gè)基于對(duì)音頻的小樣本語(yǔ)音成技術(shù)在語(yǔ)音助手實(shí)踐，具備以下 5 點(diǎn)技術(shù)領(lǐng)先性:1.語(yǔ)音合成訓(xùn)練數(shù)據(jù)的自動(dòng)化篩選，無(wú)人工標(biāo)注，效果好成本低。2.訓(xùn)練音頻樣本少，且音頻量相對(duì)一般的情況，確保合成質(zhì)量不低。3.降低用戶主動(dòng)配合錄音采集的本數(shù)量，提升用戶驗(yàn)。4.采用端云協(xié)同的訓(xùn)推一體化框，可以大幅提升生音色的效率。5.采用大規(guī)模訓(xùn)練數(shù)據(jù)端到端模型，只針用戶音色相關(guān)模塊行自適應(yīng)訓(xùn)練，可確保小樣本下的音相似度，同時(shí)確保成效果的魯棒性。02 技術(shù)和落地實(shí)踐方案2.1 總體架構(gòu)圖 2 整體架構(gòu)圖從數(shù)據(jù)流處理的時(shí)性角度劃分，整架構(gòu)可以分為兩層: 在線計(jì)算和離線計(jì)算。●在線計(jì)算: 包括語(yǔ)音對(duì)話交互語(yǔ)音播報(bào)領(lǐng)域，主是幫助用戶完成語(yǔ)對(duì)話，錄音訓(xùn)練和 TTS 播報(bào)功能；用戶在使用小布助進(jìn)行對(duì)話時(shí)，首先過(guò) ASR 服務(wù)，把用戶語(yǔ)音轉(zhuǎn)換為本，后端的對(duì)話管和 NLU 服務(wù) (自然語(yǔ)音理解) 完成對(duì)輸入文本的能和意圖識(shí)別，最對(duì)應(yīng)技能服務(wù)給到 NLP 結(jié)果返回給用戶側(cè)，完成一次話交互行為；用戶可以主動(dòng)在小布助個(gè)性化聲音模塊錄自己的聲音，并提合成聲音任務(wù)。模訓(xùn)練成功后，TTS 播報(bào)服務(wù)則將需要播報(bào)的文本給到 TTS 引擎，生成音頻持續(xù)流式給到客端進(jìn)行播報(bào)?！耠x計(jì)算: 包括數(shù)據(jù)清洗和模型訓(xùn)練。首基于用戶大量的對(duì)音頻，采用大數(shù)據(jù)析能力，清洗和過(guò)出滿足條件的音頻 (如音頻時(shí)長(zhǎng)，文本長(zhǎng)度，信噪比), 并獲取每條音頻的紋信息。然后經(jīng)過(guò)紋聚類(lèi)模型，判別該設(shè)備的主說(shuō)話人最后綜合決策將主話滿足條件的多條話音頻和用戶合成音時(shí)主動(dòng)錄入的多音頻一起提交給模訓(xùn)練。模型訓(xùn)練成后，推送給在線 TTS 引擎服務(wù)使用。2.2 遇到的困難和挑戰(zhàn)在整個(gè)創(chuàng)形成到方案設(shè)計(jì)以落地過(guò)程中，遇到少問(wèn)題和挑戰(zhàn)。其比較關(guān)鍵的問(wèn)題有下幾個(gè):1.海量對(duì)話數(shù)據(jù)如何挑選出質(zhì)量滿足條件的音?小布助手的用戶群體大，涉及不同年階層，不同地區(qū)方，不同說(shuō)話習(xí)慣及用場(chǎng)景。比如孩童話語(yǔ)速慢，聲音小因此，在復(fù)雜的環(huán)和海量數(shù)據(jù)情況下如何挑選滿足條件音頻作為訓(xùn)練數(shù)據(jù)是面臨的第一個(gè)大戰(zhàn)。2.單設(shè)備存在多說(shuō)話人情況下，何保證挑選的訓(xùn)練頻都是主說(shuō)話人?通常單個(gè)手機(jī)設(shè)備是定一個(gè)用戶在使用比較容易獲取主說(shuō)人。不過(guò)我們分析現(xiàn)，存在大概 30% 以上手機(jī)有 2 個(gè)及以上的使用者。極端情況下，某設(shè)備多個(gè)用戶說(shuō)話占比都相對(duì)均勻。時(shí)在產(chǎn)品交互上，們?yōu)榱私档蛯?duì)用戶驗(yàn)的影響，沒(méi)有增用戶繁瑣的聲紋注流程。3.在云端資源有限下，如何滿海量用戶的聲音合體驗(yàn)?小布助手作為首個(gè)月活破 1.3 億的語(yǔ)音助手，用戶活躍高，對(duì)新特參與度也比較高，必將帶來(lái)大量的請(qǐng)。在云端服務(wù)器資有限情況下，既需保證用戶的聲音合需求，又要保障訓(xùn)效率，降低用戶的待時(shí)長(zhǎng)。2.3 解決的方案針對(duì)前文紹題和挑戰(zhàn)，我們過(guò)分析交互習(xí)慣趨，兼顧運(yùn)營(yíng)成本，行全鏈路架構(gòu)方案設(shè)計(jì)和優(yōu)化。算法學(xué)優(yōu)化性能和效果工程同學(xué)保障系統(tǒng)高可用和低成本，而保障用戶體驗(yàn)。1.海量對(duì)話數(shù)據(jù)如何挑選高質(zhì)量音頻?用戶歷史語(yǔ)音交互數(shù)因?yàn)榘舜罅繜o(wú)數(shù)據(jù)，整體語(yǔ)音質(zhì)遠(yuǎn)低于用戶為聲音成專門(mén)錄制的語(yǔ)音量。為了提高用戶色的合成效果，必實(shí)現(xiàn)快速和準(zhǔn)確地別出無(wú)效部分，并，整個(gè)數(shù)據(jù)挑選流需要全自動(dòng)化，無(wú)人工干預(yù)和標(biāo)注。此，我們制定了數(shù)篩選規(guī)則，在以下 6 個(gè)方面設(shè)定了閾值，從而保障挑選來(lái)的訓(xùn)練音頻質(zhì)量●音頻時(shí)長(zhǎng): 每條音頻時(shí)長(zhǎng)大于一定長(zhǎng)。通過(guò)設(shè)定合適閾值，穩(wěn)定時(shí)長(zhǎng)的頻，也會(huì)降低對(duì)后聲紋模型效果的挑?！裎谋鹃L(zhǎng)度: 每條音頻語(yǔ)音識(shí)別出的文本長(zhǎng)度，剔除本較短的語(yǔ)音。單語(yǔ)音文本越長(zhǎng)，最模型訓(xùn)練效果越好通過(guò)限制文本長(zhǎng)度帶來(lái)的另外一個(gè)好，就是降低噪音數(shù)。●語(yǔ)速: 挑選語(yǔ)速適中的語(yǔ)音數(shù)據(jù)正常人說(shuō)話是 2-3 字 / 秒。超過(guò)或者低于這個(gè)語(yǔ)的數(shù)據(jù)也進(jìn)行剔除●音量: 每條音頻計(jì)算的 RMS 值在 [-35dB,-10dB], 去掉低音量或者聲音小的數(shù)據(jù)?！裰眯?: 借鑒語(yǔ)音識(shí)別過(guò)程對(duì)無(wú)效數(shù)據(jù)檢測(cè)法，保留識(shí)別置信大于一定值的語(yǔ)音置信度越高，語(yǔ)音晰和質(zhì)量越高?！?輯距離: 經(jīng)過(guò)上述條件篩選的大批量據(jù)中，需要再次去掉重復(fù)度高的相似音，保留語(yǔ)義和文內(nèi)容有明顯差異的批數(shù)據(jù)。訓(xùn)練集差性越好，語(yǔ)音元素豐富，訓(xùn)練效果也秀。圖 3 聲音篩選漏斗圖2.單設(shè)備存在多說(shuō)話人情況，如何保證挑選的練音頻是主說(shuō)話人?我們?cè)O(shè)計(jì)了通用的選和判定主說(shuō)話人流程: 一、獲取每條音頻的聲紋特征，二、基于特征值行聲音歸類(lèi)，三、定主說(shuō)話人并生成音庫(kù)?！袷紫?，我通過(guò)聲紋算法能力對(duì)用戶的每條音頻取聲紋表征。聲紋塊采用當(dāng)前主流的 ECAPA-TDNN 聲紋模型，并使用 Speechbrain 搭建訓(xùn)練系統(tǒng)。圖 4 說(shuō)話人聚類(lèi)流程●然后通過(guò)聚類(lèi)算法計(jì)算單設(shè)備的說(shuō)話人群聚類(lèi)算法種類(lèi)繁多比如適合較短序列聚合式分層聚類(lèi) (AHC), 需要設(shè)置類(lèi)別數(shù)的 K-means、K-means++ 等；本方案采用谷歌 Turn-to-Diarize 系統(tǒng)適合中等長(zhǎng)度序列的譜類(lèi)算法，并且利用征值的最大間隔法獲取準(zhǔn)確估算說(shuō)話的數(shù)量。圖 5 聚類(lèi)結(jié)果示意圖●其，采用譜聚類(lèi)加中得分的方式獲取設(shè)用戶語(yǔ)音交互最頻的人的最優(yōu)的多條頻，該音頻最終提給語(yǔ)音合成模型訓(xùn)；如果聚類(lèi)結(jié)果發(fā)多個(gè)用戶使用頻率不多，我們就將最 2 個(gè)月使用次數(shù)最多的用戶作為主話人，然后挑選齊足條件的多條音頻為訓(xùn)練集。通過(guò)聚算法，我們可以確主說(shuō)話人判定準(zhǔn)確達(dá)到 95%?！褡詈?，為了提升計(jì)算度和效率，實(shí)踐過(guò)中采用相關(guān)矩陣權(quán)本身替換拉普拉斯陣，并且去除掉高模糊等優(yōu)化計(jì)算量最終效果每次聚類(lèi) 200 條聲紋特征大約耗時(shí) 700ms 左右。3.在云端資源有限下，如滿足海量用戶的聲合成體驗(yàn)?圖 6 音色合成全流程●先，我們建設(shè)了統(tǒng)的灰度服務(wù)，該服可以動(dòng)態(tài)控制所有音色合成特性有關(guān)入口和曝光量，也以做到一鍵放量和閉。●其次，我們立排隊(duì)機(jī)制和批處的方式，對(duì)突發(fā)流進(jìn)行削峰填谷，避對(duì)后端服務(wù)的資源兌。參考后端集群量計(jì)算初始放量的戶規(guī)模，同時(shí)也構(gòu)動(dòng)態(tài)反饋機(jī)制: 根據(jù)后端任務(wù)排隊(duì)、源剩余等情況，及反饋給流量控制服進(jìn)行綜合決策，減對(duì)用戶曝光和引流避免引發(fā)系統(tǒng)的“崩效應(yīng)”。對(duì)某批戶放量前，會(huì)通過(guò)線分析任務(wù)提前對(duì)批用戶的歷史語(yǔ)音行數(shù)據(jù)清洗，篩選符合條件的音頻數(shù)，做好數(shù)據(jù)準(zhǔn)備。該用戶通過(guò)指令提訓(xùn)練任務(wù)后，就會(huì)發(fā)聲音合成流程。戶聲音合成 (自定義 TTS2.0) 包括三個(gè)階段: 預(yù)訓(xùn)練、在線訓(xùn)練在線推理。1.預(yù)訓(xùn)練階段: 主要用于產(chǎn)出基礎(chǔ)模型，參分布作為語(yǔ)音合成先驗(yàn)分布態(tài)，降低型朝少量樣本數(shù)據(jù)學(xué)習(xí)的難度。該階基于千人級(jí)、萬(wàn)小級(jí)的語(yǔ)音數(shù)據(jù)訓(xùn)練魯棒性高的基礎(chǔ)模。該基礎(chǔ)模型屬于全端到端模型，共 6 個(gè)模塊組成: 說(shuō)話人編碼器、文本編碼器、聲學(xué)編器、時(shí)長(zhǎng)預(yù)測(cè)器、向編碼器、聲碼器2.在線訓(xùn)練階段: 固定文本編碼器參數(shù)，訓(xùn)練其他模塊調(diào)整學(xué)習(xí)率防止過(guò)合及無(wú)法收斂現(xiàn)象其中，音頻對(duì)應(yīng)的本通過(guò)語(yǔ)音識(shí)別引識(shí)別獲得，并通過(guò)音合成前端獲得對(duì)的音素序列。圖 7 自定義 TTS2.0 預(yù)訓(xùn)練和在線訓(xùn)練階段3.在線推理階段: 該階段加載固定的文本編碼，以及在線訓(xùn)練階完成的其他模塊，進(jìn)用戶輸入的播報(bào)本和特定說(shuō)話人 ID, 輸出預(yù)測(cè)音頻，完成自定義 TTS 音頻的合成。圖 8 自定義 TTS2.0 在線推理階段●同時(shí)，為了低長(zhǎng)時(shí)間等待對(duì)用體驗(yàn)的影響，我們據(jù)單個(gè)模型訓(xùn)練時(shí)以及正在排隊(duì)任務(wù)，計(jì)算預(yù)期等待時(shí)展示給用戶。并且聲音合成的訓(xùn)練任完成后，會(huì)主動(dòng)推消息告知用戶，提用戶的體驗(yàn)?！褡?，建設(shè)了立體化監(jiān)系統(tǒng)，對(duì)每一條訓(xùn)任務(wù)的訓(xùn)練時(shí)間，隊(duì)時(shí)間，訓(xùn)練狀態(tài)行統(tǒng)計(jì)和分析?？?通過(guò)實(shí)時(shí)大盤(pán)，觀到一些因?yàn)橄到y(tǒng)異情況導(dǎo)致的任務(wù)耗增加或失敗，并設(shè)告警及時(shí)通知相關(guān)進(jìn)行干預(yù)，從而保系統(tǒng)的順利運(yùn)行。03 實(shí)踐效果 / 價(jià)值我們對(duì)這兩個(gè)案 (自定義 TTS1.0 方案和基于交互音頻的自定 TTS2.0 方案) 進(jìn)行了 MOS 效果評(píng)測(cè)，結(jié)果表明方案 1.0 和方案 2.0 合成的聲音差異較小評(píng)測(cè)數(shù)據(jù)如下。我在優(yōu)化了 TTS 合成效率及音色豐度上，沒(méi)有太降低色的合成效果，依可以提供相對(duì)自定 TTS1.0 方案效果一致的音色具有較強(qiáng)的提效降的價(jià)值。04 總結(jié)與展望本文系統(tǒng)性紹了 OPPO 小布助手在用戶自定 TTS 和提高用戶播報(bào)體驗(yàn)方面做一些工作。主要圍語(yǔ)音清洗，主說(shuō)話聚類(lèi)，小樣本 TTS 合成技術(shù)進(jìn)行了介紹，在工程實(shí)踐，著重介紹了云端源有限情況下的一降本增效的設(shè)計(jì)方和理念。通過(guò)數(shù)據(jù)析，存在多個(gè)角色用同一臺(tái)設(shè)備交互情況，例如: 母子共用手機(jī)等。我們紹了，單設(shè)備存在說(shuō)話人情況下，采數(shù)據(jù)清洗和聲紋聚的方法，挑選出了說(shuō)話人的訓(xùn)練音頻但針這種多角色情，如何確保同時(shí)輸高純度的多說(shuō)話人練樣本，是未來(lái)重探索的方向。自定 TTS 未來(lái)方向是 0 句話合成 (Zero Shot TTS), 即不需要用戶專門(mén)錄聲音，僅依賴用戶史語(yǔ)音交互數(shù)據(jù)，可實(shí)現(xiàn)高自然度、相似度的語(yǔ)音合成果。該技術(shù)屬于低源合成范疇，因此們將重點(diǎn)增強(qiáng)語(yǔ)音據(jù)自動(dòng)過(guò)濾功能，強(qiáng)高質(zhì)量數(shù)據(jù)的利率，降低低質(zhì)量數(shù)的利用率，并將用發(fā)音評(píng)測(cè)信息、聲信息用于語(yǔ)音合成合建模，以此提升資源語(yǔ)音合成效果05 團(tuán)隊(duì)介紹OPPO 小布助手團(tuán)隊(duì): 以小布助手為 AI 技術(shù)落地的關(guān)鍵載體，致力于提多場(chǎng)景、智慧有度用戶體驗(yàn)。小布助是 OPPO 智能手機(jī)和 IoT 設(shè)備上內(nèi)置的智能助。作為多終端、多態(tài)、對(duì)話式的智能手，小布助手的技覆蓋語(yǔ)音識(shí)別、語(yǔ)理解、對(duì)話生成、識(shí)問(wèn)答系統(tǒng)、開(kāi)放聊天、推薦算法、字人、多模態(tài)等多核心領(lǐng)域，為用戶供更友好自然的人交互體驗(yàn)。小布助的技術(shù)實(shí)力在技術(shù)新及應(yīng)用上始終保領(lǐng)先，當(dāng)前已在多自然語(yǔ)言處理、語(yǔ)識(shí)別相關(guān)的行業(yè)權(quán)賽事及榜單中獲得眼成績(jī)。OPPO 分貝實(shí)驗(yàn)室: 負(fù)責(zé)語(yǔ)音合成技術(shù)的突領(lǐng)先，并在手機(jī)應(yīng)和各種 AIoT 場(chǎng)景的全面落地。音合成技術(shù)屬于 AI 原子能力，是人機(jī)交互的重要一環(huán)成立四年來(lái)，我們合成技術(shù)賦能 OPPO 軟硬服各業(yè)務(wù)線，滿足用戶在多場(chǎng)景下的播報(bào)需求除了通用合成提供 30 余款音色之外，我們還提供多情合成、多風(fēng)格合成多語(yǔ)種合成、小樣合成、離線合成、音變聲等能力，覆了 OPPO 絕大多數(shù)設(shè)備 (手機(jī)、手表、電視)。2020 年，Blizzard Challenge 國(guó)際評(píng)測(cè)中，我們獲得自度第一、相似度第的成績(jī)。2021 年，我們的語(yǔ)音合基礎(chǔ)能力獲得信通頒發(fā)的可信 AI 證書(shū)?