聽覺信息處理研究前沿

1　言語產(chǎn)生和聽覺的機理及其研究／黨建武　趙　彬　魏建國 ………… 1
　 1.1　言語產(chǎn)生和感知的機理 ………………………………………………… ３
1.1.1　有聲語言產(chǎn)生的條件 …………………………………………… ３
1.1.2　語音產(chǎn)生的機理 ………………………………………………… ５
1.1.3　語音感知的機理 ………………………………………………… ７
　 1.2　聲源的產(chǎn)生與聲道的調制 …………………………………………… 13
1.2.1　聲源產(chǎn)生機理與感知 ………………………………………… 13
1.2.2　聲道的調制機理 ……………………………………………… 18
　 1.3　言語產(chǎn)生與感知的相互作用 ………………………………………… 24
1.3.1　言語鏈 ………………………………………………………… 24
1.3.2　言語感知運動理論 …………………………………………… 26
1.3.3　言語感知機理研究的發(fā)展與挑戰(zhàn) …………………………… 27
1.3.4　鏡像神經(jīng)元和言語聽覺 運動整合 …………………………… 28
　 1.4　言語的腦功能研究 …………………………………………………… 30
1.4.1　言語的腦認知研究發(fā)展 ……………………………………… 30
1.4.2　言語的認知神經(jīng)機理 ………………………………………… 33
1.4.3　言語功能障礙及康復訓練 …………………………………… 42
 1.５　語音信號處理方法簡介 ……………………………………………… 47
1.5.1　基于產(chǎn)生機理的信號處理方法 ……………………………… 48
1.5.2　基于感知機理的信號處理方法 ……………………………… 52
　 參考文獻 ……………………………………………………………………… 55
2　語音增強與麥克風陣列信號處理／付中華 ……………………………… 69
　 2.1　信號模型………………………………………………………………… 71
2.1.1　時域信號模型 ………………………………………………… 71
2.1.2　頻域信號模型與短時傅里葉變換技術 ……………………… 72
　 2.2　評價方法………………………………………………………………… 74
2.2.1　主觀評價方法與指標 ………………………………………… 74
2.2.2　客觀評價方法與指標 ………………………………………… 76
　 2.3　單聲道語音增強 ……………………………………………………… 78
2.3.1　時域維納濾波器增強原理 …………………………………… 80
2.3.2　頻域維納濾波器增強原理 …………………………………… 81
2.3.3　噪聲功率譜的估計 …………………………………………… 84
2.3.4　基于深度學習的語音增強 …………………………………… 87
　 2.4　麥克風陣列語音增強 ………………………………………………… 92
2.4.1　固定波束 ……………………………………………………… 93
2.4.2　自適應波束 …………………………………………………… 106
2.4.3　后置濾波技術 ………………………………………………… 113
　 參考文獻 ……………………………………………………………………… 119
3　語音識別聲學建模／俞　凱　徐　波　戴禮榮………………………… 123
　 3.1　統(tǒng)計語音識別概述 …………………………………………………… 125
　 3.2　基于隱馬爾可夫模型的經(jīng)典聲學建模方法 ……………………… 127
3.2.1　HMM……………………………………………………………… 127
3.2.2　GMM HMM在語音識別中的使用 ……………………………… 130
3.2.3　模型改進及問題分析 ………………………………………… 132
3.2.4　自適應技術 …………………………………………………… 132
3.2.5　鑒別性訓練技術 ……………………………………………… 136
　 3.3　結合深度學習的聲學建模方法……………………………………… 138
3.3.1　深度學習基礎 ………………………………………………… 138
3.3.2　CD DNN HMM混合建模……………………………………………149
3.3.3　深度學習在聲學建模中的綜合應用 ………………………… 152
3.3.4　深度學習訓練加速 …………………………………………… 162
3.3.5　深度學習自適應技術 ………………………………………… 167
3.3.6　深度學習框架下的序列鑒別性訓練 ………………………… 171
3.3.7　端到端聲學建模 ……………………………………………… 174
　 參考文獻 …………………………………………………………… 179
4　特殊場景語音識別（抗噪、低資源）／謝　磊　張鵬遠　錢彥旻
杜　俊 ………………………………………………………………………… 191
　 4.1　魯棒語音識別前端 …………………………………………………… 193
4.1.1　噪聲魯棒性語音識別方法 …………………………………… 193
4.1.2　魯棒性特征 …………………………………………………… 194
4.1.3　信號域增強 …………………………………………………… 195
4.1.4　特征增強／ 補償方法 ………………………………………… 207
　 4.2　環(huán)境表達與聲學模型自適應………………………………………… 209
4.2.1　自適應與魯棒性 ……………………………………………… 209
4.2.2　基于保守訓練的自適應 ……………………………………… 210
4.2.3　基于線性變換的自適應 ……………………………………… 212
4.2.4　基于環(huán)境感知的自適應 ……………………………………… 213
4.2.5　參數(shù)結構化自適應及自適應訓練 …………………………… 216
　 4.3　多語種聲學與語言建模 ……………………………………………… 217
4.3.1　基于知識共享的多語言聲學建模技術 ……………………… 217
4.3.2　小語種語言模型建模技術 …………………………………… 221
　 參考文獻 ……………………………………………………………………… 224
5　聲紋識別與語種識別／王龍標　李　明　鄭　方　程星亮　李藍天
………………………………………………………………………………… 237
　 5.1　聲紋識別與語種識別簡介 …………………………………………… 239
5.1.1　傳統(tǒng)方法 ……………………………………………………… 241
5.1.2　深度學習方法 ………………………………………………… 242
5.1.3　遷移學習、多任務學習及多數(shù)據(jù)庫聯(lián)合學習 ……………… 246
　 5.2　聲紋識別經(jīng)典算法 …………………………………………………… 246
5.2.1　特征提取 ……………………………………………………… 246
5.2.2　GMM-UBM-MAP ………………………………………………… 249
5.2.3　i-vector ……………………………………………………… 252
5.2.4　PLDA………………………………………………………………256
　 5.3　魯棒性聲紋識別算法 ………………………………………………… 261
5.3.1　復雜環(huán)境聲紋識別 …………………………………………… 262
5.3.2　時變聲紋識別 ………………………………………………… 265
5.3.3　短語音聲紋識別 ……………………………………………… 267
5.3.4　防聲紋假冒闖入對策 ………………………………………… 270
　 5.4　基于深度學習的聲紋及語種識別算法……………………………… 275
5.4.1　廣義統(tǒng)計量 …………………………………………………… 276
5.4.2　Tandem及Bottleneck特征…………………………………… 278
5.4.3　典型模型結構 ………………………………………………… 279
　 5.5　評價指標、數(shù)據(jù)庫及工具包 ………………………………………… 283
5.5.1　評價指標 ……………………………………………………… 283
5.5.2　數(shù)據(jù)庫及工具包 ……………………………………………… 284
　 參考文獻 ……………………………………………………………………… 285
6　韻律、情緒及音樂分析／陶建華　李愛軍　李　偉 …………………… 305
　 6.1　言語韻律 ……………………………………………………………… 307
6.1.1　言語韻律基本概念與理論 …………………………………… 307
6.1.2　韻律分析與建模 ……………………………………………… 313
6.1.3　韻律標注系統(tǒng) ………………………………………………… 317
6.1.4　漢語韻律研究的挑戰(zhàn) ………………………………………… 320
　 6.2　情感語音 ……………………………………………………………… 322
6.2.1　情感語音的聲學特征 ………………………………………… 322
6.2.2　語音的情感分類與識別 ……………………………………… 324
6.2.3　情感語音合成 ………………………………………………… 331
　 6.3　音樂內(nèi)容分析理解 …………………………………………………… 336
6.3.1　音樂和語音的關系 …………………………………………… 336
6.3.2　音樂旋律分析 ………………………………………………… 340
6.3.3　音樂節(jié)奏分析 ………………………………………………… 344
　 參考文獻 ……………………………………………………………………… 349
7　統(tǒng)計語音合成／凌震華　陶建華 ………………………………………… 355
　 7.1　語音合成概述 ………………………………………………………… 357
　 7.2　基于隱馬爾可夫模型的統(tǒng)計語音合成方法 ……………………… 359
7.2.1　隱馬爾可夫模型 ……………………………………………… 359
7.2.2　基于ＨＭＭ的統(tǒng)計參數(shù)語音合成 …………………………… 361
7.2.3　基于ＨＭＭ的統(tǒng)計參數(shù)語音合成關鍵技術 ………………… 363
7.2.4　基于ＨＭＭ的語音合成靈活性 ……………………………… 366
7.2.5　基于ＨＭＭ的統(tǒng)計參數(shù)語音合成方法的優(yōu)缺點 …………… 372
　 7.3　結合深度學習的統(tǒng)計語音合成方法………………………………… 374
7.3.1　深度學習關鍵技術 …………………………………………… 374
7.3.2　基于深度學習的聲學建模方法 ……………………………… 379
7.3.3　基于深度學習的頻譜特征提取與頻譜生成后濾波 ………… 391
7.3.4　基于神經(jīng)網(wǎng)絡的波形生成方法 ……………………………… 394
　 7.4　基于神經(jīng)網(wǎng)絡的語音合成前端處理………………………………… 399
7.4.1　基于深度學習的字音轉換 …………………………………… 399
7.4.2　基于深度學習的韻律邊界預測 ……………………………… 400
　 7.5　基于神經(jīng)網(wǎng)絡的語音合成端到端建模方法 ……………………… 402
　 參考文獻 ……………………………………………………………………… 406
8　人機口語對話系統(tǒng)／俞　凱　陳　露 …………………………………… 415
　 8.1　人機口語對話系統(tǒng)概述 ……………………………………………… 417
8.1.1　人機口語對話系統(tǒng)發(fā)展歷史及分類 ………………………… 417
8.1.2　任務型人機口語對話系統(tǒng)的基本架構 ……………………… 418
8.1.3　對話系統(tǒng)的評估 ……………………………………………… 420
　 8.2　口語理解 ……………………………………………………………… 422
8.2.1　口語理解基本概念 …………………………………………… 422
8.2.2　口語理解算法前沿 …………………………………………… 427
8.2.3　口語理解中的不確定性建模 ………………………………… 437
8.2.4　上下文建模及領域自適應 …………………………………… 440
8.2.5　研究展望 ……………………………………………………… 445
　 8.3　對話狀態(tài)跟蹤 ………………………………………………………… 446
8.3.1　基于部分可觀測馬爾可夫決策過程（POMDP）的對話管理
框架概述 ……………………………………………………… 446
8.3.2　對話狀態(tài)跟蹤 ………………………………………………… 447
8.3.3　對話狀態(tài)跟蹤挑戰(zhàn)賽 ………………………………………… 449
8.3.4　基于統(tǒng)計的DST模型………………………………………… 449
8.3.5　基于規(guī)則的DST模型………………………………………… 450
8.3.6　基于規(guī)則與統(tǒng)計相結合的DST模型………………………… 451
8.3.7　端到端的DST模型…………………………………………… 453
8.3.8　多領域DST模型……………………………………………… 457
　 8.4　對話策略優(yōu)化 ………………………………………………………… 458
8.4.1　強化學習及其在對話策略優(yōu)化中的應用 …………………… 458
8.4.2　深度強化學習在對話策略優(yōu)化中的應用 …………………… 463
8.4.3　對話策略優(yōu)化的高級技術 …………………………………… 466
8.4.4　用戶模擬器 …………………………………………………… 469
　 參考文獻 ……………………………………………………………………… 475
9　面向健康醫(yī)療的語音技術/賈　珈 ……………………………………… 489
　 9.1　言語感知的腦機制 …………………………………………………… 491
9.1.1　言語感知機理 ………………………………………………… 491
9.1.2　言語感知障礙的腦機制 ……………………………………… 499
　 9.2　助聽技術與聽障評估 ………………………………………………… 503
9.2.1　人工電子耳的構成 …………………………………………… 505
9.2.2　人工電子耳語音信號編碼方案 ……………………………… 506
9.2.3　人工電子耳的當前技術挑戰(zhàn) ………………………………… 507
9.2.4　聽障評估技術 ………………………………………………… 507
　 9.3　嗓音障礙產(chǎn)生機制與客觀評估技術………………………………… 510
9.3.1　嗓音障礙產(chǎn)生機制 …………………………………………… 511
9.3.2　嗓音障礙的聲學客觀評估方法 ……………………………… 512
　 9.4　言語康復訓練與學習 ………………………………………………… 515
9.4.1　言語康復技術概述 …………………………………………… 516
9.4.2　可視化言語康復訓練 ………………………………………… 519
　 參考文獻 ……………………………………………………………………… 525
索引 ……………………………………………………………………………… 529