語音識別服務(wù)實戰(zhàn)

目 錄

第1章 語音識別概述 1
1.1 語音識別發(fā)展歷程 2
1.2 語音識別產(chǎn)業(yè)與應(yīng)用 6
1.2.1 消費級市場 7
1.2.2 企業(yè)級市場 8
1.3 常用語音處理工具 10
1.3.1 WebRTC 10
1.3.2 Kaldi 12
1.3.3 端到端語音識別工具包 14
第2章 語音信號基礎(chǔ) 16
2.1 語音信號的聲學(xué)基礎(chǔ) 17
2.1.1 語音產(chǎn)生機理 17
2.1.2 語音信號的產(chǎn)生模型 19
2.1.3 語音信號的感知 20
2.2 語音信號的數(shù)字化和時頻變換 22
2.2.1 語音信號的采樣、量化和編碼 22
2.2.2 語音信號的時頻變換 25
2.3 本章小結(jié) 31
第3章 語音前端算法 32
3.1 語音前端算法概述 33
3.2 VAD 35
3.2.1 基于門限判決的VAD 36
3.2.2 基于高斯混合模型的VAD 38
3.2.3 基于神經(jīng)網(wǎng)絡(luò)的VAD 40
3.3 單通道降噪 43
3.3.1 譜減法 44
3.3.2 維納濾波法 46
3.3.3 音樂噪聲和參數(shù)譜減法 48
3.3.4 貝葉斯準(zhǔn)則下的MMSE 51
3.3.5 噪聲估計 56
3.3.6 基于神經(jīng)網(wǎng)絡(luò)的單通道降噪 61
3.4 回聲消除 65
3.4.1 回聲消除概述 66
3.4.2 線性自適應(yīng)濾波 69
3.4.3 分塊頻域自適應(yīng)濾波器 70
3.4.4 雙講檢測 72
3.4.5 延遲估計 75
3.4.6 殘留回聲消除 76
3.4.7 基于神經(jīng)網(wǎng)絡(luò)的回聲消除 78
3.5 麥克風(fēng)陣列與波束形成 79
3.5.1 麥克風(fēng)陣列概述 80
3.5.2 延遲求和波束形成 86
3.5.3 最小方差無失真響應(yīng)波束形成 89
3.5.4 廣義旁瓣對消波束形成 92
3.5.5 后置濾波 98
3.5.6 基于神經(jīng)網(wǎng)絡(luò)的波束形成 101
3.6 聲源定位 103
3.6.1 GCC-PHAT 104
3.6.2 基于自適應(yīng)濾波的聲源定位 105
3.6.3 SRP-PHAT 108
3.6.4 子空間聲源定位算法 108
3.6.5 基于神經(jīng)網(wǎng)絡(luò)的聲源定位 111

3.7 其他未盡話題 111
3.8 本章小結(jié) 113
第4章 語音識別原理 114
4.1 特征提取 116
4.1.1 特征預(yù)處理 116
4.1.2 常見的語音特征 119
4.2 傳統(tǒng)聲學(xué)模型 124
4.2.1 聲學(xué)建模單元 124
4.2.2 GMM-HMM 126
4.2.3 強制對齊 131
4.3 DNN-HMM 131
4.3.1 語音識別中的神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 132
4.3.2 常見的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 137
4.4 語言模型 145
4.4.1 n-gram語言模型 145
4.4.2 語言模型的評價指標(biāo) 148
4.4.3 神經(jīng)語言模型 148
4.5 WFST解碼器 151
4.5.1 WFST原理 151
4.5.2 常見的WFST運算 152
4.5.3 語音識別中的WFST解碼器 155
4.5.4 令牌傳遞算法 157
4.5.5 Beam Search 159
4.6 序列區(qū)分性訓(xùn)練 160
4.6.1 MMI和bMMI 161
4.6.2 MPE和sMBR 161
4.6.3 詞圖 161
4.6.4 LF-MMI 162
4.7 端到端語音識別 163
4.7.1 CTC 163
4.7.2 Seq2Seq 166
4.8 語音識別模型評估 169
4.9 本章小結(jié) 171
第5章 中文普通話模型訓(xùn)練——以multi_cn為例 172
5.1 Kaldi安裝與環(huán)境配置 173
5.2 Kaldi中的數(shù)據(jù)格式與數(shù)據(jù)準(zhǔn)備 174
5.3 語言模型訓(xùn)練 178
5.4 發(fā)音詞典準(zhǔn)備 180
5.5 特征提取 184
5.6 Kaldi中的Transition模型 186
5.7 預(yù)對齊模型訓(xùn)練 187
5.7.1 單音素模型訓(xùn)練 187
5.7.2 delta特征模型訓(xùn)練 190
5.7.3 lda_mllt特征變換模型訓(xùn)練 191
5.7.4 說話人自適應(yīng)訓(xùn)練 192
5.8 數(shù)據(jù)增強 193
5.8.1 數(shù)據(jù)清洗及重分割 194
5.8.2 速度增強和音量增強 194
5.8.3 SpecAugment 196
5.9 I-Vector訓(xùn)練 197
5.9.1 對角UBM 197
5.9.2 I-Vector提取器 198
5.9.3 提取訓(xùn)練數(shù)據(jù)的I-Vector 199
5.10 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 199
5.10.1 Chain模型 200
5.10.2 Chain模型數(shù)據(jù)準(zhǔn)備 202
5.10.3 神經(jīng)網(wǎng)絡(luò)配置與訓(xùn)練 203
5.11 解碼圖生成 209
5.12 本章小結(jié) 210
5.13 附錄 211
5.13.1 xconfig中的描述符及網(wǎng)絡(luò)配置表 211
5.13.2 Chain模型中的egs 215
5.13.3 Kaldi nnet3中迭代次數(shù)和學(xué)習(xí)率調(diào)整 217
第6章 基于Kaldi的說話人日志 219
6.1 說話人日志概述 220
6.1.1 什么是說話人日志 220
6.1.2 說話人日志技術(shù) 220
6.1.3 說話人日志評價指標(biāo) 227
6.2 聲紋模型訓(xùn)練——以CNCeleb為例 229
6.2.1 聲紋數(shù)據(jù)準(zhǔn)備 230
6.2.2 I-Vector訓(xùn)練 240
6.2.3 X-Vector訓(xùn)練 243
6.2.4 LDA/PLDA后端模型訓(xùn)練 248
6.2.5 說話人日志后端模型訓(xùn)練 250
6.3 本章小結(jié) 253
第7章 基于Kaldi的語音SDK實現(xiàn) 254
7.1 語音特征提取 258
7.1.1 音頻讀取 258
7.1.2 音頻特征提取 261
7.2 基于WebRTC的語音活動檢測 268
7.3 說話人日志模塊 273
7.3.1 I-Vector提取 275
7.3.2 X-Vector提取 287
7.3.3 說話人日志算法實現(xiàn) 299
7.4 語音識別解碼 313
7.5 本章小結(jié) 324

第8章 基于gRPC的語音識別服務(wù) 325
8.1 gRPC語音服務(wù) 326
8.2 ProtoBuf協(xié)議定義 327
8.3 基于gRPC的語音服務(wù)實現(xiàn) 329
8.3.1 gRPC Server實現(xiàn) 330
8.3.2 gRPC Client實現(xiàn) 337
8.3.3 gRPC語音服務(wù)的編譯與測試 343
8.4 本章小結(jié) 346
參考文獻 347