基于混合方法的自然語言處理：神經(jīng)網(wǎng)絡(luò)模型與知識圖譜的結(jié)合

推薦序一
推薦序二
譯者序
前言
第一部分　預(yù)備知識和構(gòu)建模塊
第1章　混合自然語言處理簡介 2
1.1　知識圖譜、嵌入和語言模型簡史 2
1.2　自然語言處理中知識圖譜和神經(jīng)網(wǎng)絡(luò)方法的結(jié)合 4
第2章　單詞、意義和知識圖譜嵌入 6
2.1　引言 6
2.2　分布式單詞表示 6
2.3　詞嵌入 7
2.4　意義和概念嵌入 8
2.5　知識圖譜嵌入 9
2.6　本章小結(jié) 13
第3章　理解詞嵌入和語言模型 14
3.1　引言 14
3.2　語言模型 15
3.2.1　統(tǒng)計語言模型 15
3.2.2　神經(jīng)語言模型 16
3.3　NLP遷移學(xué)習(xí)的預(yù)訓(xùn)練模型微調(diào) 16
3.3.1　ELMo 16
3.3.2　GPT 17
3.3.3　BERT 17
3.4　機器人檢測中預(yù)訓(xùn)練語言模型的微調(diào) 18
3.4.1　實驗結(jié)果與討論 21
3.4.2　使用Transformer庫對BERT進行微調(diào) 21
3.5　本章小結(jié) 27
第4章　從文本中捕獲意義作為詞嵌入 28
4.1　引言 28
4.2　下載一個小文本語料庫 29
4.3　一種學(xué)習(xí)詞嵌入的算法 29
4.4　使用Swivel prep生成共現(xiàn)矩陣 30
4.5　從共現(xiàn)矩陣中學(xué)習(xí)嵌入 31
4.6　讀取并檢查存儲的二進制嵌入 32
4.7　練習(xí)：從古騰堡工程中創(chuàng)建詞嵌入 33
4.7.1　下載語料庫并進行預(yù)處理 33
4.7.2　學(xué)習(xí)嵌入 34
4.7.3　檢查嵌入 34
4.8　本章小結(jié) 34
第5章　捕獲知識圖譜嵌入 35
5.1　引言 35
5.2　知識圖譜嵌入 35
5.3　為WordNet創(chuàng)建嵌入 37
5.3.1　選擇嵌入算法：HolE 37
5.3.2　將WordNet知識圖譜轉(zhuǎn)換為所需輸入 39
5.3.3　學(xué)習(xí)嵌入 44
5.3.4　檢查嵌入結(jié)果 44
5.4　練習(xí) 47
5.4.1　練習(xí)：在自己的知識圖譜上訓(xùn)練嵌入 47
5.4.2　練習(xí)：檢查WordNet 3.0的預(yù)計算嵌入 47
5.5　本章小結(jié) 48
第二部分　神經(jīng)網(wǎng)絡(luò)與知識圖譜的結(jié)合
第6章　從文本語料庫、知識圖譜和語言模型中構(gòu)建混合表達(dá) 50
6.1　引言 50
6.2　準(zhǔn)備工作和說明 51
6.3　Vecsigrafo的概念及構(gòu)建方式 51
6.4　實現(xiàn) 53
6.5　訓(xùn)練Vecsigrafo 54
6.5.1　標(biāo)記化和詞義消歧 56
6.5.2　詞匯表和共現(xiàn)矩陣 58
6.5.3　從共現(xiàn)矩陣學(xué)習(xí)嵌入 62
6.5.4　檢查嵌入 64
6.6　練習(xí)：探索一個預(yù)先計算好的Vecsigrafo 66
6.7　從Vecsigrafo到Transigrafo 68
6.7.1　安裝設(shè)置 70
6.7.2　訓(xùn)練Transigrafo 71
6.7.3　擴展知識圖譜的覆蓋范圍 73
6.7.4　評估 Transigrafo 73
6.7.5　檢查Transigrafo中的義項嵌入 75
6.7.6　探索Transigrafo嵌入的穩(wěn)定性 77
6.7.7　額外的反思 81
6.8　本章小結(jié) 81
第7章　質(zhì)量評估 82
7.1　引言 82
7.2　評估方法的概述 83
7.3　練習(xí)1：評估單詞和概念嵌入 84
7.3.1　可視化探索 84
7.3.2　內(nèi)在評估 85
7.3.3　詞匯預(yù)測圖 87
7.3.4　外在評估 90
7.4　練習(xí)2：評價通過嵌入獲取的關(guān)系知識 90
7.4.1　下載embrela項目 91
7.4.2　下載生成的數(shù)據(jù)集 91
7.4.3　加載待評估的嵌入 92
7.4.4　學(xué)習(xí)模型 94
7.4.5　分析模型的結(jié)果 94
7.4.6　數(shù)據(jù)預(yù)處理：合并且增加字段 96
7.4.7　計算范圍閾值和偏差數(shù)據(jù)集檢測 97
7.4.8　發(fā)現(xiàn)統(tǒng)計上有意義的模型 99
7.4.9　關(guān)系型知識的評估結(jié)論 101
7.5　案例研究：評估和對比Vecsigrafo嵌入 101
7.5.1　比較研究 101
7.5.2　討論 111
7.6　本章小結(jié) 114
第8章　利用Vecsigrafo捕獲詞法、語法和語義信息 116
8.1　引言 116
8.2　方法 118
8.2.1　Vecsigrafo：基于語料的單詞–概念嵌入 118
8.2.2　聯(lián)合嵌入空間 119
8.2.3　嵌入的評估 119
8.3　評估 120
8.3.1　數(shù)據(jù)集 121
8.3.2　單詞相似度 121
8.3.3　類比推理 124
8.3.4　單詞預(yù)測 125
8.3.5　科學(xué)文檔的分類 127
8.4　討論 129
8.5　練習(xí)：使用surface form對科學(xué)文獻進行分類 130
8.5.1　導(dǎo)入所需的庫 130
8.5.2　下載surface form的詞嵌入和SciGraph論文 131
8.5.3　讀取并準(zhǔn)備分類數(shù)據(jù)集 131
8.5.4　surface form的詞嵌入 133
8.5.5　創(chuàng)建嵌入層 134
8.5.6　訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò) 134
8.6　本章小結(jié) 136
第9章　知識圖譜的詞嵌入空間對齊與應(yīng)用 137
9.1　引言 137
9.2　概述及可能的應(yīng)用 138
9.2.1　知識圖譜的補全 139
9.2.2　超越多語言性：跨模態(tài)的詞嵌入 139
9.3　詞嵌入空間的對齊技術(shù) 140
9.3.1　線性對齊 140
9.3.2　非線性對齊 146
9.4　練習(xí)：尋找古代英語和現(xiàn)代英語的對應(yīng) 146
9.4.1　下載小型文本語料庫 146
9.4.2　學(xué)習(xí)基于老莎士比亞語料庫的Swivel詞嵌入 147
9.4.3　在WordNet之上加載UMBC的Vecsigrafo 149
9.4.4　練習(xí)的結(jié)論 149
9.5　本章小結(jié) 150
第三部分　應(yīng)用
第10章　一種虛假信息分析的混合方法 152
10.1　引言 152
10.2　虛假信息檢測 153
10.2.1　定義和背