統(tǒng)計語言學

第1章概論 1.1統(tǒng)計語言學 1.2統(tǒng)計語言學與其他學科 1.2.1計量語言學 1.2.2計算語言學 1.2.3語料庫語言學 1.2.4與三個學科的聯(lián)系與區(qū)別 1.3使用統(tǒng)計方法研究的語言特征 1.4統(tǒng)計語言學基本研究方法 1.5統(tǒng)計語言學研究的步驟 1.6統(tǒng)計的語言學應用 第2章語料庫 2.1語料庫的定義 2.2語料庫的類型 2.2.1口語語料庫與書面語語料庫 2.2.2單語語料庫、雙語語料庫與多語語料庫 2.2.3通用語料庫與專用語料庫 2.2.4共時語料庫與歷時語料庫 2.2.5動態(tài)語料庫與靜態(tài)語料庫 2.2.6同質語料庫與異質語料庫 2.2.7生語料庫與標注語料庫 2.3國內外主要語料庫 2.3.1國外的語料庫 2.3.2國內的語料庫 2.4本章小結 第3章統(tǒng)計在語言研究中的基本應用 3.1統(tǒng)計學的基本概念 3.1.1總體、個體、樣本 3.1.2參數(shù)與統(tǒng)計量 3.1.3常量、變量 3.1.4實際值與觀測值 3.2平均數(shù) 3.2.1簡單算術平均數(shù) 3.2.2加權算術平均數(shù) 3.3方差與標準差 3.3.1未分組數(shù)據(jù)的方差與標準差 3.3.2分組數(shù)據(jù)的方差與標準差 3.4頻度、頻率、概率、條件概率、貝葉斯定理 3.4.1概率論中的常用概念 3.4.2概率 3.4.3獨立性 3.4.4貝葉斯定理 3.4.5頻度與頻率 3.5互信息 3.6 Z評分 3.7Dice系數(shù) 3.8Phi平方系數(shù)(Φ2) 3.9對數(shù)似然比 3.10N元模型 3.10.1N元語法 3.10.2N元語法模型 3.11語言學三大統(tǒng)計規(guī)律 3.11.1Zipf法則 3.11.2MenzerathAltmann定律 3.11.3PiotrowskiAltmann定律 3.12熵 3.12.1靜態(tài)平均信息熵 3.12.2極限熵 3.13Yule 圖 3.14Fuchs公式 3.15使用度與通用度 3.15.1使用度 3.15.2通用度 3.16本章小結 第4章假設檢驗 4.1假設檢驗的相關概念 4.1.1假設檢驗的基本原理 4.1.2假設的分類 4.1.3檢驗統(tǒng)計量與臨界值 4.1.4雙尾檢驗與單尾檢驗 4.1.5假設檢驗的一般步驟 4.1.6假設檢驗中的兩類錯誤 4.2參數(shù)假設檢驗 4.2.1正態(tài)分布 4.2.2U檢驗 4.2.3t檢驗 4.2.4χ2檢驗 4.2.5F檢驗 4.2.6參數(shù)假設檢驗比較 4.3非參數(shù)假設檢驗 4.3.1χ2檢驗 4.3.2秩和檢驗 4.3.3非參數(shù)假設檢驗比較 4.4本章小結 第5章方差分析 5.1方差分析的定義及基本思想 5.1.1方差分析的定義 5.1.2方差分析的基本思想 5.2方差分析的基本概念和使用條件 5.2.1方差分析中的基本概念 5.2.2使用方差分析的條件 5.3方差分析的類型和一般步驟 5.3.1方差分析的類型 5.3.2方差分析的一般步驟 5.4單因素方差分析 5.4.1各個因素水平間的樣本容量相同 5.4.2各個因素水平間的樣本容量不完全相同 5.4.3方差分析中的多重比較 5.5雙因素方差分析 5.5.1無重復雙因素方差分析 5.5.2可重復雙因素方差分析 5.6本章小結 第6章文本聚類 6.1文本聚類概述 6.1.1文本聚類定義 6.1.2文本聚類的流程 6.2文本聚類中的數(shù)據(jù) 6.2.1聚類分析中使用的數(shù)據(jù)結構 6.2.2數(shù)據(jù)歸一化處理 6.3相似度計算 6.3.1文本相似度的計算 6.3.2特征相似度的計算 6.4聚類算法 6.4.1層次聚類 6.4.2劃分聚類 6.4.3劃分聚類與層次聚類的聯(lián)系和區(qū)別 6.5文本聚類性能評價 6.5.1純度 6.5.2歸一化互信息 6.5.3精確度 6.5.4F值 6.6本章小結 第7章文本分類 7.1文本分類的定義 7.2分類方法 7.2.1基于知識工程的方法 7.2.2基于機器學習的方法 7.3分類步驟與流程 7.4文本表示與特征選擇 7.4.1特征項選擇 7.4.2詞袋模型 7.4.3向量空間模型 7.4.4特征篩選與權重 7.5向量相似度測量 7.6分類模型 7.6.1樸素貝葉斯(Nave Bayes) 7.6.2k最近鄰(kNearest Neighbor) 7.6.3支持向量機(Support Vector Machines) 7.7文本分類的評價 7.7.1準確率、召回率 7.7.2正確率、錯誤率 7.7.3F值 7.7.4微平均和宏平均 7.8本章小結 第8章R語言簡介 8.1R語言的幫助文件 8.1.1R的基本知識在線幫助 8.1.2R程序中的關鍵字符及函數(shù)的在線幫助 8.2R程序包 8.2.1程序包的安裝 8.2.2程序包的載入 8.3R語言的數(shù)據(jù)結構及基本函數(shù) 8.3.1R語言的對象類型 8.3.2R語言的對象的建立 8.3.3數(shù)值型向量的常用統(tǒng)計函數(shù) 8.4數(shù)據(jù)的讀取和存儲 8.4.1數(shù)據(jù)的讀取 8.4.2數(shù)據(jù)的存儲 8.5R的基本繪圖 8.5.1餅圖(Pie Plot) 8.5.2條形圖(Barplot) 8.5.3直方圖(Hist) 8.5.4折線圖(Matplot) 8.5.5箱線圖(Boxplot) 8.5.6散點圖(Scatter Diagram) 8.5.7散點圖矩陣(Scatterplot Matrices) 8.6假設檢驗 8.6.1參數(shù)假設檢驗 8.6.2非參數(shù)假設檢驗 8.7方差分析 8.7.1方差齊性檢驗 8.7.2單因素方差分析 8.7.3雙因素方差分析 8.8本章小結 第9章計算風格學研究 9.1計算風格學研究使用的語言特征 9.1.1字符方面 9.1.2詞匯方面 9.1.3句子方面 9.1.4詞類方面 9.1.5短語和語法結構方面 9.1.6段落方面 9.2計算風格學研究中常使用的方法 9.3莫言與余華小說計算風格學研究 9.3.1基于頻率的風格分析 9.3.2假設檢驗的文本風格分析 9.3.3基于文本聚類的風格分析 9.3.4基于文本分類的風格分析 9.3.5小結 9.4本章小結 附錄常用的統(tǒng)計數(shù)表 附表1標準正態(tài)分布函數(shù)數(shù)值表 附表2正態(tài)性檢驗統(tǒng)計量W的系數(shù)ai(n)的值 附表3正態(tài)性檢驗統(tǒng)計量W的 α分位數(shù)Wα表 附表4正態(tài)性檢驗統(tǒng)計量Y的α 分位數(shù)Yα表 附表5t檢驗臨界值表 附表6χ2檢驗臨界值表 附表7F檢驗臨界值表 附表8Wilcoxon秩和檢驗臨界值表 附表9統(tǒng)計量H的分位數(shù)H1-α(r，f)表 附表10多重比較q1-α(r，f)表 參考文獻 ......