微軟大數(shù)據(jù)解決方案

第Ⅰ部分 大數(shù)據(jù)的含義  第1章 行業(yè)需求與解決方案 3  1.1 何謂“大”數(shù)據(jù) 3  1.2 Hadoop簡(jiǎn)史 4  1.2.1 Google 4  1.2.2 Nutch 5  1.3 Hadoop的概念 5  1.3.1 衍生品和分發(fā)版 6  1.3.2 Hadoop分發(fā)版 7  1.3.3 Hadoop生態(tài)系統(tǒng)的核心 8  1.3.4 Hadoop中的重要Apache項(xiàng)目 10  1.3.5 Hadoop的未來 14  1.4 本章小結(jié) 14  第2章 Microsoft大數(shù)據(jù)解決方法 15  2.1 “優(yōu)質(zhì)組合”的故事 15  2.2 生態(tài)系統(tǒng)中的競(jìng)爭(zhēng) 16  2.2.1 SQL on Hadoop現(xiàn)狀 16  2.2.2 Hortonworks和Stinger 16  2.2.3 Cloudera和Impala 18  2.2.4 Microsoft對(duì)Hadoop中SQL應(yīng)用的貢獻(xiàn) 20  2.3 Hadoop的部署 20  2.3.1 部署要素 20  2.3.2 部署拓?fù)浣Y(jié)構(gòu) 23  2.3.3 部署計(jì)分卡 26  2.4 本章小結(jié) 28  第Ⅱ部分 使用Microsoft建立大數(shù)據(jù)  第3章 配置首個(gè)大數(shù)據(jù)環(huán)境 31  3.1 入門 31  3.2 開始安裝 32  3.3 安裝過程 32  3.3.1 本地安裝：?jiǎn)喂?jié)點(diǎn)安裝 32  3.3.2 HDInsight服務(wù)：云端安裝 40  3.3.3 Windows Azure存儲(chǔ)管理器選項(xiàng) 41  3.4 驗(yàn)證新集群 43  3.4.1 登錄HDInsight服務(wù) 43  3.4.2 通過日志驗(yàn)證HDP功能 44  3.5 常見的安裝后任務(wù) 45  3.5.1 加載首個(gè)文件 45  3.5.2 驗(yàn)證Hive和Pig 46  3.6 本章小結(jié) 50  第Ⅲ部分 存儲(chǔ)并管理大數(shù)據(jù)  第4章 HDFS、Hive、HBase和HCatalog 53  4.1 探討HDFS 53  4.1.1 HDFS體系結(jié)構(gòu)闡述 54  4.1.2 與HDFS交互 57  4.2 探討Hive：Hadoop數(shù)據(jù)倉庫平臺(tái) 59  4.2.1 設(shè)計(jì)、構(gòu)建和加載表 60  4.2.2 查詢數(shù)據(jù) 61  4.2.3 配置Hive ODBC驅(qū)動(dòng)程序 61  4.3 探討HCatalog：HDFS表和元數(shù)據(jù)管理 62  4.4 探索HBase：面向列的HDFS數(shù)據(jù)庫 63  4.4.1 面向列的數(shù)據(jù)庫 63  4.4.2 定義和填充HBase表 65  4.4.3 使用查詢操作 66  4.5 本章小結(jié) 66  第5章 HDFS的數(shù)據(jù)存儲(chǔ)與管理 67  5.1 了解HDFS基本原理 67  5.1.1 HDFS體系結(jié)構(gòu) 68  5.1.2 名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn) 69  5.1.3 數(shù)據(jù)復(fù)制 71  5.2 使用常用命令與HDFS進(jìn)行交互 72  5.2.1 使用HDFS的界面 72  5.2.2 文件處理命令 74  5.2.3 HDFS的管理功能 76  5.3 在HDFS中移動(dòng)和組織數(shù)據(jù) 78  5.3.1 在HDFS中移動(dòng)數(shù)據(jù) 78  5.3.2 實(shí)現(xiàn)便于管理的數(shù)據(jù)結(jié)構(gòu) 79  5.3.3 重新平衡數(shù)據(jù) 79  5.4 本章小結(jié) 80  第6章 添加Hive結(jié)構(gòu) 81  6.1 理解Hive的作用和角色 82  6.1.1 為非結(jié)構(gòu)化數(shù)據(jù)提供結(jié)構(gòu) 82  6.1.2 啟用數(shù)據(jù)訪問與轉(zhuǎn)換 88  6.1.3 鑒別Hive與傳統(tǒng)RDBMS系統(tǒng) 88  6.1.4 使用Hive 89  6.2 創(chuàng)建和查詢基本表 90  6.2.1 創(chuàng)建數(shù)據(jù)庫 90  6.2.2 創(chuàng)建表 91  6.2.3 添加和刪除數(shù)據(jù) 94  6.2.4 查詢表 95  6.3 使用Hive的高級(jí)數(shù)據(jù)結(jié)構(gòu) 97  6.3.1 設(shè)置分區(qū)表 97  6.3.2 加載分區(qū)表 99  6.3.3 使用視圖 100  6.3.4 創(chuàng)建表索引 100  6.4 本章小結(jié) 101  第7章 使用HBase和HCatalog來擴(kuò)展功能 103  7.1 使用HBase 104  7.1.1 創(chuàng)建HBase表 104  7.1.2 將數(shù)據(jù)加載到HBase表 106  7.1.3 執(zhí)行快速查找 107  7.1.4 加載和查詢HBase 108  7.2 使用HCatalog管理數(shù)據(jù) 109  7.2.1 使用HCatalog和Hive 109  7.2.2 定義數(shù)據(jù)結(jié)構(gòu) 110  7.2.3 建立索引 111  7.3 創(chuàng)建分區(qū) 111  7.4 HCatalog與Pig和Hive的集成 113  7.5 使用HBase或Hive作為數(shù)據(jù)倉庫 116  7.6 本章小結(jié) 117  第Ⅳ部分 使用大數(shù)據(jù)  第8章 使用SSIS、Pig和Sqoop  進(jìn)行有效的大數(shù)據(jù)ETL 121  8.1 結(jié)合大數(shù)據(jù)與SQL Server工具獲取更優(yōu)解決方案 122  8.1.1 為何要移動(dòng)數(shù)據(jù) 122  8.1.2 在Hadoop和SQL Server之間移動(dòng)數(shù)據(jù) 123  8.2 使用SSIS和Hive 123  8.3 配置包 128  8.3.1 將數(shù)據(jù)加載到Hadoop 131  8.3.2 從SSIS獲得最 佳性能 132  8.4 使用Sqoop轉(zhuǎn)移數(shù)據(jù) 132  8.4.1 從SQL Server復(fù)制數(shù)據(jù) 133  8.4.2 將數(shù)據(jù)復(fù)制到SQL Server 135  8.5 使用Pig移動(dòng)數(shù)據(jù) 135  8.5.1 使用Pig轉(zhuǎn)換數(shù)據(jù) 136  8.5.2 同時(shí)使用Pig和SSIS 138  8.6 選擇正確的工具 139  8.6.1 何時(shí)使用SSIS 139  8.6.2 何時(shí)使用Pig 139  8.6.3 何時(shí)使用Sqoop 139  8.7 本章小結(jié) 140  第9章 使用Pig和Hive進(jìn)行數(shù)據(jù)研究和高級(jí)數(shù)據(jù)清理 141  9.1 了解Pig 141  9.1.1 使用Pig的時(shí)機(jī) 142  9.1.2 利用內(nèi)置函數(shù) 142  9.1.3 執(zhí)行用戶自定義函數(shù) 143  9.1.4 使用UDF 144  9.1.5 為Pig創(chuàng)建專屬UDF 151  9.2 使用Hive 153  9.2.1 使用Hive進(jìn)行數(shù)據(jù)分析 153  9.2.2 Hive函數(shù)類型 154  9.2.3 使用map—reduce腳本擴(kuò)展Hive 155  9.2.4 創(chuàng)建自定義map—reduce腳本 158  9.2.5 為Hive創(chuàng)建專屬UFD 159  9.3 本章小結(jié) 161  第Ⅴ部分 大數(shù)據(jù)與SQL Server的整合  第10章 數(shù)據(jù)倉庫與Hadoop整合 165  10.1 行業(yè)狀況 166  10.2 傳統(tǒng)數(shù)據(jù)倉庫架構(gòu)面臨的挑戰(zhàn) 166  10.2.1 技術(shù)制約 167  10.2.2 業(yè)務(wù)挑戰(zhàn) 171  10.3 Hadoop在數(shù)據(jù)倉庫市場(chǎng)上的影響 173  10.3.1 保持一切 173  10.3.2 代碼優(yōu)先（模式延后） 174  10.3.3 塑造價(jià)值 175  10.3.4 計(jì)算問題 176  10.4 介紹并行數(shù)據(jù)倉庫 176  10.4.1 何謂PDW 177  10.4.2 PDW為什么重要 178  10.4.3 PDW的工作方式 180  10.5 Polybase項(xiàng)目 188  10.5.1 Polybase架構(gòu) 188  10.5.2 當(dāng)今Polybase的商業(yè)案例 199  10.5.3 預(yù)測(cè)Polybase的未來 201  10.6 本章小結(jié) 204  第11章 使用Windows BI呈現(xiàn)大數(shù)據(jù) 205  11.1 工具生態(tài)系統(tǒng) 205  11.1.1 Excel 206  11.1.2 PowerPivot 206  11.1.3 Power View 207  11.1.4 Power Map 207  11.1.5 報(bào)表服務(wù) 208  11.2 使用PowerPivot的自助式大數(shù)據(jù) 210  11.2.1 設(shè)置ODBC驅(qū)動(dòng)程序 210  11.2.2 加載數(shù)據(jù) 211  11.2.3 更新模型 217  11.2.4 添加度量標(biāo)準(zhǔn) 218  11.2.5 創(chuàng)建數(shù)據(jù)透視表 218  11.3 使用Power View加速大數(shù)據(jù)探索 220  11.4 使用Power Map的快速空間探索 224  11.5 本章小結(jié) 225  第12章 大數(shù)據(jù)分析 227  12.1 數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘與預(yù)測(cè)分析 227  12.1.1 數(shù)據(jù)挖掘 227  12.1.2 預(yù)測(cè)分析 228  12.2 Mahout介紹 229  12.3 構(gòu)建一個(gè)推薦引擎 230  12.3.1 開始 231  12.3.2 運(yùn)行用戶到用戶推薦作業(yè) 232  12.3.3 運(yùn)行項(xiàng)目到項(xiàng)目推薦作業(yè) 234  12.4 本章小結(jié) 235  第13章 大數(shù)據(jù)與云 237  13.1 定義云 237  13.2 探索大數(shù)據(jù)云提供商 238  13.2.1 Amazon 238  13.2.2 Microsoft 239  13.3 在云端設(shè)置大數(shù)據(jù)沙盒 239  13.3.1 開始使用Amazon EMR 240  13.3.2 開始使用HDInsight 244  13.4 在云端存儲(chǔ)數(shù)據(jù) 251  13.4.1 存儲(chǔ)數(shù)據(jù) 251  13.4.2 上傳數(shù)據(jù) 252  13.4.3 探索大數(shù)據(jù)存儲(chǔ)工具 252  13.4.4 整合云端數(shù)據(jù) 254  13.4.5 其他云端數(shù)據(jù)源 255  13.5 本章小結(jié) 255  第14章 現(xiàn)實(shí)生活中的大數(shù)據(jù) 257  14.1 常見行業(yè)分析 257  14.1.1 電信 257  14.1.2 能源 258  14.1.3 零售 258  14.1.4 數(shù)據(jù)服務(wù) 259  14.1.5 IT／托管優(yōu)化 259  14.1.6 市場(chǎng)社會(huì)情緒 260  14.2 運(yùn)營(yíng)分析 260  14.2.1 快速失敗 260  14.2.2 一個(gè)新的技術(shù)生態(tài)系統(tǒng) 260  14.2.3 用戶受眾 262  14.3 本章小結(jié) 264  第Ⅵ部分 繼續(xù)向前發(fā)展大數(shù)據(jù)  第15章 創(chuàng)建和執(zhí)行大數(shù)據(jù)計(jì)劃 267  15.1 獲得贊助方和利益相關(guān)方的認(rèn)同 267  15.1.1 問題定義 268  15.1.2 范圍管理 269  15.1.3 利益相關(guān)方的期望 270  15.1.4 定義成功的標(biāo)準(zhǔn) 270  15.2 確定技術(shù)上的挑戰(zhàn) 271  15.2.1 環(huán)境的挑戰(zhàn) 271  15.2.2 技能的挑戰(zhàn) 272  15.3 確定運(yùn)營(yíng)上的挑戰(zhàn) 273  15.3.1 制定設(shè)置／配置計(jì)劃 273  15.3.2 制定運(yùn)行維護(hù)計(jì)劃 274  15.4 更進(jìn)一步 275  15.4.1 交付到運(yùn)營(yíng) 276  15.4.2 部署之后 276  15.5 本章小結(jié) 276  第16章 運(yùn)營(yíng)的大數(shù)據(jù)管理 279  16.1 混合型大數(shù)據(jù)環(huán)境：云端與本地解決方案協(xié)同工作 279  16.2 使用云計(jì)算和本地解決方案的動(dòng)態(tài)數(shù)據(jù)集成 280  16.3 大數(shù)據(jù)的集成思想 281  16.4 大數(shù)據(jù)環(huán)境中的備份和高可用性 283  16.4.1 高可用性 283  16.4.2 災(zāi)難恢復(fù) 285  16.5 大數(shù)據(jù)解決方案的管理 286  16.6 創(chuàng)建運(yùn)營(yíng)分析 286  16.6.1 HDP系統(tǒng)中心運(yùn)營(yíng)管理器 287  16.6.2 安裝Ambari SCOM管理軟件包 288  16.6.3 使用Ambari SCOM管理軟件包進(jìn)行監(jiān)控 296  16.7 本章小結(jié) 300