文本數(shù)據(jù)管理與分析：信息檢索與文本挖掘的實用導(dǎo)論

中文版序

譯者序

前言

作者簡介

第一部分　概述和背景

第1章　緒論2

　1.1　文本信息系統(tǒng)的功能4

　1.2　文本信息系統(tǒng)的概念框架5

　1.3　本書結(jié)構(gòu)安排7

　1.4　如何使用本書8

　書目說明和延伸閱讀9

第2章　背景11

　2.1　概率和統(tǒng)計基礎(chǔ)11

　　2.1.1　聯(lián)合概率和條件概率12

　　2.1.2　貝葉斯法則13

　　2.1.3　拋硬幣和二項分布14

　　2.1.4　最大似然參數(shù)估計14

　　2.1.5　貝葉斯參數(shù)估計15

　　2.1.6　概率模型及其應(yīng)用16

　2.2　信息論17

　2.3　機器學(xué)習(xí)19

　書目說明和延伸閱讀20

　練習(xí)20

第3章　文本數(shù)據(jù)理解22

　3.1　自然語言處理的歷史和研究現(xiàn)狀23

　3.2　自然語言處理和文本信息系統(tǒng)24

　3.3　文本表示26

　3.4　統(tǒng)計語言模型28

　書目說明和延伸閱讀31

　練習(xí)31

第4章　META：一個面向文本數(shù)據(jù)管理和分析的統(tǒng)一工具箱33

　4.1　設(shè)計原則33

　4.2　設(shè)置META34

　4.3　架構(gòu)34

　4.4　用META分詞35

　4.5　相關(guān)工具箱37

　練習(xí)38

第二部分　文本數(shù)據(jù)獲取

第5章　文本數(shù)據(jù)獲取概述44

　5.1　獲取模式：拉取與推送44

　5.2　多模式互動獲取45

　5.3　文本檢索47

　5.4　文本檢索與數(shù)據(jù)庫檢索48

　5.5　文檔選擇與文檔排序49

　書目說明和延伸閱讀50

　練習(xí)51

第6章　檢索模型52

　6.1　概述52

　6.2　檢索函數(shù)的一般形式53

　6.3　向量空間檢索模型54

　　6.3.1　向量空間模型實例化55

　　6.3.2　位向量表示的表現(xiàn)56

　　6.3.3　改進(jìn)的模型實例57

　　6.3.4　TF變換60

　　6.3.5　文檔長度規(guī)范化62

　　6.3.6　基本向量空間模型的進(jìn)一步改進(jìn)64

　　6.3.7　小結(jié)65

　6.4　概率檢索模型65

　　6.4.1　查詢似然檢索模型67

　　6.4.2　文檔語言模型的平滑69

　　6.4.3　具體的平滑方法72

　書目說明和延伸閱讀76

　練習(xí)76

第7章　反饋78

　7.1　向量空間模型中的反饋79

　7.2　語言模型中的反饋81

　書目說明和延伸閱讀84

　練習(xí)84

第8章　搜索引擎實現(xiàn)86

　8.1　分詞器86

　8.2　索引器87

　8.3　打分器90

　　8.3.1　逐個詞項排序90

　　8.3.2　逐個文檔排序90

　　8.3.3　過濾文檔91

　　8.3.4　索引分片91

　8.4　反饋實現(xiàn)92

　8.5　壓縮92

　　8.5.1　按位壓縮93

　　8.5.2　塊壓縮94

　8.6　高速緩存95

　　8.6.1　LRU緩存95

　　8.6.2　DBLRU緩存96

　書目說明和延伸閱讀96

　練習(xí)97

第9章　搜索引擎評價98

　9.1　引言98

　　9.1.1　要度量什么98

　　9.1.2　Cranfield評價方法98

　9.2　集合檢索的評價100

　　9.2.1　準(zhǔn)確率和召回率100

　　9.2.2　F度量：準(zhǔn)確率和召回率的結(jié)合101

　9.3　有序列表的評價102

　9.4　基于多級別判斷標(biāo)準(zhǔn)的評價106

　9.5　評價中的實際問題107

　書目說明和延伸閱讀110

　練習(xí)110

第10章　網(wǎng)絡(luò)搜索112

　10.1　網(wǎng)絡(luò)爬蟲113

　10.2　網(wǎng)頁索引113

　10.3　鏈接分析117

　　10.3.1　PageRank算法118

　　10.3.2　HITS算法121

　10.4　排序?qū)W習(xí)122

　10.5　網(wǎng)絡(luò)搜索的未來125

　書目說明和延伸閱讀127

　練習(xí)127

第11章　推薦系統(tǒng)130

　11.1　基于內(nèi)容的推薦131

　11.2　協(xié)同過濾134

　11.3　推薦系統(tǒng)的評價137

　書目說明和延伸閱讀138

　練習(xí)138

第三部分　文本數(shù)據(jù)分析

第12章　文本數(shù)據(jù)分析概述142

　12.1　動機：文本數(shù)據(jù)分析的應(yīng)用142

　12.2　文本與非文本數(shù)據(jù)：人類作為主觀傳感器143

　12.3　文本挖掘任務(wù)概覽145

第13章　詞關(guān)聯(lián)挖掘148

　13.1　詞關(guān)聯(lián)挖掘的基本思想149

　13.2　聚合關(guān)系的發(fā)現(xiàn)150

　13.3　組合關(guān)系的發(fā)現(xiàn)153

　13.4　詞關(guān)聯(lián)挖掘的評價159

　書目說明和延伸閱讀160

　練習(xí)160

第14章　文本聚類162

　14.1　聚類技術(shù)概述163

　14.2　文檔聚類164

　　14.2.1　凝聚層次聚類法165

　　14.2.2　K-均值165

　14.3　詞項聚類167

　　14.3.1　語義關(guān)聯(lián)的詞語167

　　14.3.2　點互信息169

　　14.3.3　先進(jìn)方法169

　14.4　文本聚類的評價172

　書目說明和延伸閱讀173

　練習(xí)173

第15章　文本分類175

　15.1　引言175

　15.2　文本分類方法概述176

　15.3　文本分類問題177

　15.4　文本分類的特征177

　15.5　分類算法179

　　15.5.1　k-近鄰180

　　15.5.2　樸素貝葉斯181

　　15.5.3　線性分類器182

　15.6　文本分類的評價183

　書目說明和延伸閱讀184

　練習(xí)184

第16章　文本摘要185

　16.1　文本摘要技術(shù)概述185

　16.2　抽取式文本摘要186

　16.3　抽象式文本摘要187

　16.4　文本摘要的評價189

　16.5　文本摘要的應(yīng)用189

　書目說明和延伸閱讀190

　練習(xí)190

第17章　主題分析192

　17.1　用詞項表示的主題193

　17.2　用單詞分布表示的主題196

　17.3　挖掘文本中的一個主題198

　　17.3.1　最簡單的主題模型：一元語言模型199

　　17.3.2　添加背景語言模型201

　　17.3.3　混合模型的參數(shù)估計205

　　17.3.4　混合模型的行為206

　　17.3.5　期望最大化209

　17.4　概率潛在語義分析214

　17.5　PLSA的擴展及潛在狄利克雷分布220

　17.6　主題分
......