大數(shù)據(jù)浪潮之巔：新技術(shù)商業(yè)制勝之道

目錄
1 谷歌的大數(shù)據(jù)路：從擁有“三駕馬車(chē)”到喪失先發(fā)優(yōu)勢(shì) \ 1
谷歌的“三駕馬車(chē)”開(kāi)啟了大數(shù)據(jù)時(shí)代，然而在這個(gè)新時(shí)代里，谷歌卻喪失了先發(fā)優(yōu)勢(shì)。這是為什么呢？我認(rèn)為是谷歌對(duì)待開(kāi)放架構(gòu)的態(tài)度相對(duì)保守導(dǎo)致的。
2 谷歌的大數(shù)據(jù)路：一場(chǎng)影響深遠(yuǎn)的論戰(zhàn) \ 7
在大數(shù)據(jù)發(fā)展史上，以邁克爾?斯通布雷克為代表的數(shù)據(jù)庫(kù)元老級(jí)人物，針對(duì)MapReduce向谷歌提出了質(zhì)疑。這場(chǎng)著名的論戰(zhàn)給整個(gè)業(yè)界帶來(lái)了動(dòng)蕩，最后誕生了Spark。
3 谷歌的大數(shù)據(jù)路：谷歌的“黑科技” \ 14
在大數(shù)據(jù)的上半場(chǎng)，谷歌以“三駕馬車(chē)”引領(lǐng)時(shí)代，但后來(lái)因?yàn)闆Q策失誤喪失了先發(fā)優(yōu)勢(shì)；而在大數(shù)據(jù)的下半場(chǎng)，谷歌帶著“黑科技”Spanner數(shù)據(jù)庫(kù)系統(tǒng)閃亮登場(chǎng)，效果如何呢？
4 如何讀懂類(lèi)似谷歌“三駕馬車(chē)”這樣的技術(shù)論文 \ 20
讀懂一篇技術(shù)論文，首先需要明白“論文是寫(xiě)給誰(shuí)看的”和“論文是怎么寫(xiě)出來(lái)的”這兩個(gè)基本問(wèn)題，然后就可以有針對(duì)性地提升自己閱讀論文的功力。
5 雅虎：大數(shù)據(jù)領(lǐng)域的“活雷鋒” \ 26
雅虎，這個(gè)早已淡出我們視線的公司，卻是大數(shù)據(jù)領(lǐng)域的“活雷鋒”，可以說(shuō)正是它促成了今天的Hadoop生態(tài)圈。這篇文章就來(lái)說(shuō)說(shuō)它的故事。
6 IBM的大數(shù)據(jù)路――起早貪黑趕了個(gè)“晚集” \ 31
作為歷史悠久的計(jì)算機(jī)公司，IBM早早涉足了大數(shù)據(jù)領(lǐng)域，最終卻只能寄希望于比自己的產(chǎn)品起步還要晚的Spark，我們來(lái)看看其中發(fā)生了什么。
7 三大社交媒體公司對(duì)Hadoop生態(tài)圈的貢獻(xiàn) \ 35
雅虎把Hadoop開(kāi)源以后，當(dāng)時(shí)著名的三大社交媒體公司Facebook、LinkedIn和Twitter都加入了這個(gè)生態(tài)圈，并做出了巨大貢獻(xiàn)。Hadoop生態(tài)圈給我們的啟示是，抱團(tuán)取暖才是生存之道。
8 微軟的大數(shù)據(jù)發(fā)展史：微軟硅谷研究院 \ 41
微軟硅谷研究院曾經(jīng)在微軟的大數(shù)據(jù)發(fā)展歷程中扮演了非常特殊的角色，它推出的Dryad和DryadLINQ可以說(shuō)是兩個(gè)另類(lèi)的產(chǎn)品，雖然未曾大受歡迎，卻對(duì)大數(shù)據(jù)的發(fā)展有著不可磨滅的貢獻(xiàn)。
9 微軟的大數(shù)據(jù)發(fā)展史：必應(yīng)的Cosmos \ 47
Cosmos是微軟必應(yīng)搜索引擎下面的團(tuán)隊(duì)開(kāi)發(fā)的大數(shù)據(jù)基礎(chǔ)架構(gòu)，代表了微軟在大數(shù)據(jù)方面的最高成就。
10 微軟的大數(shù)據(jù)發(fā)展史：Azure的發(fā)展 \ 53
微軟大數(shù)據(jù)發(fā)展史上的另一個(gè)分支是微軟云計(jì)算平臺(tái)下的大數(shù)據(jù)項(xiàng)目Azure。這個(gè)項(xiàng)目產(chǎn)生了HDInsight、Azure Data Lake、CosmosDB三大平臺(tái)，但最后只有CosmosDB取得成功。
11 亞馬遜的大數(shù)據(jù)故事：從先驅(qū)者到一味索取者 \ 59
在大數(shù)據(jù)技術(shù)發(fā)展的早期，亞馬遜發(fā)表了Dynamo系統(tǒng)的論文，成為和谷歌“三駕馬車(chē)”的論文一樣具有深遠(yuǎn)影響的論文。然而隨著大數(shù)據(jù)的發(fā)展和Hadoop生態(tài)圈的建立，亞馬遜對(duì)大數(shù)據(jù)圈的貢獻(xiàn)極少，但亞馬遜自己卻從中獲得了巨大的利益。
12 亞馬遜的大數(shù)據(jù)故事：創(chuàng)新和“拿來(lái)”并存的云服務(wù) \ 64
亞馬遜不僅在Hadoop生態(tài)系統(tǒng)里蓬勃發(fā)展，還推出了自己的數(shù)據(jù)分析產(chǎn)品。這些產(chǎn)品有些是亞馬遜自己研發(fā)的，有些則只是對(duì)開(kāi)源的產(chǎn)品進(jìn)行了包裝。但是，亞馬遜一如既往地沒(méi)有反哺開(kāi)源項(xiàng)目。
13 阿里巴巴的大數(shù)據(jù)故事：數(shù)據(jù)分析平臺(tái)發(fā)展史 \ 70
國(guó)內(nèi)大數(shù)據(jù)平臺(tái)做得最好的公司當(dāng)屬阿里巴巴。本文就來(lái)介紹一下阿里巴巴數(shù)據(jù)分析平臺(tái)的發(fā)展情況：數(shù)據(jù)分析平臺(tái)的疊加開(kāi)發(fā)。
14 阿里巴巴的大數(shù)據(jù)故事：流計(jì)算引擎發(fā)展史 \ 75
在阿里巴巴的發(fā)展過(guò)程中，流數(shù)據(jù)處理一直是一項(xiàng)十分重要的技術(shù)，阿里巴巴也在這方面做了很多有意義的項(xiàng)目。本文就來(lái)介紹一下阿里巴巴的流計(jì)算引擎JStorm與Blink的發(fā)展史。
15 大公司的大數(shù)據(jù)戰(zhàn)略得失：自建“輪子”成本高 \ 80
大公司的大數(shù)據(jù)平臺(tái)可分為兩類(lèi)，一類(lèi)是自己搭的基礎(chǔ)架構(gòu)（自建“輪子”），另一類(lèi)是抱團(tuán)取暖所形成的Hadoop生態(tài)圈，兩者各有利弊。本文將分析第一種情況，主要以谷歌、微軟、阿里巴巴自己搭建的大數(shù)據(jù)平臺(tái)架構(gòu)為代表。
16 大公司的大數(shù)據(jù)戰(zhàn)略得失：抱團(tuán)取暖的Hadoop生態(tài)圈 \ 86
除了自建“輪子”的公司，其他各大公司走向了一條抱團(tuán)取暖的道路，就是你搭一個(gè)模塊，我搭一個(gè)模塊，大家一起開(kāi)源出來(lái)，最后組成了一個(gè)叫作Hadoop的生態(tài)圈。其中有為社區(qū)積極做貢獻(xiàn)的公司，也有以賺錢(qián)為目的的公司，還有一味索取的公司。
17 Hadoop三國(guó)之“魏國(guó)”――Cloudera \ 91
Hadoop領(lǐng)域曾經(jīng)有三家發(fā)行商互相角逐，其中不乏各種戰(zhàn)術(shù)與謀略，仔細(xì)琢磨，你會(huì)發(fā)現(xiàn)這三家公司的關(guān)系與三國(guó)時(shí)期的魏蜀吳之間的關(guān)系非常相似。本文講述Hadoop三國(guó)之“魏國(guó)”――Cloudera的故事。
18 Hadoop三國(guó)之“吳國(guó)”――MapR \ 97
Hadoop三國(guó)之“吳國(guó)”MapR，實(shí)力強(qiáng)大卻很少參與競(jìng)爭(zhēng)，這篇文章就來(lái)說(shuō)說(shuō)它特立獨(dú)行的故事。
19 Hadoop三國(guó)之“蜀國(guó)”――Hortonworks \ 103
Hadoop三國(guó)之“蜀國(guó)”Hortonworks始終堅(jiān)持100%開(kāi)源，本文講述它的故事。
20 Hadoop及其發(fā)行商的未來(lái) \ 111
Hadoop已誕生十多年，圍繞其生態(tài)圈誕生了諸多企業(yè)，例如前面講的社交媒體公司、三大發(fā)行商，而亞馬遜卻最終成為最大的受益者。
21 文檔數(shù)據(jù)庫(kù)的締造者M(jìn)ongoDB（上） \ 116
MongoDB的誕生像一場(chǎng)意外。它是一個(gè)文檔型數(shù)據(jù)庫(kù)，由10gen公司開(kāi)發(fā)，以易用性聞名。本文就來(lái)講述MongoDB團(tuán)隊(duì)的開(kāi)發(fā)重心、商業(yè)運(yùn)作模式和產(chǎn)品盈利方式。
22 文檔數(shù)據(jù)庫(kù)的締造者M(jìn)ongoDB（下） \ 127
MongoDB的開(kāi)發(fā)團(tuán)隊(duì)一向重視用戶(hù)體驗(yàn)而不重視核心功能，其負(fù)面影響終于以一次安全危機(jī)的方式暴露。加上公司曾經(jīng)獲得具有CIA背景的風(fēng)投公司的投資，這一并引起了很多人的顧慮。當(dāng)然，這一切都擋不住MongoDB公司最終的成功上市。
23 以MongoDB為例，看基礎(chǔ)架構(gòu)類(lèi)產(chǎn)品創(chuàng)業(yè) \ 132
作為一款基礎(chǔ)架構(gòu)類(lèi)產(chǎn)品，MongoDB以其易用性聞名，然而MongoDB的開(kāi)發(fā)者不注重系統(tǒng)的可靠性，只注重可用性，導(dǎo)致很多MongoDB的用戶(hù)轉(zhuǎn)向了其他產(chǎn)品?；A(chǔ)架構(gòu)類(lèi)產(chǎn)品的創(chuàng)業(yè)者應(yīng)該如何平衡可用性和可靠性？這是一個(gè)值得深思的問(wèn)題。
24 直面MongoDB，談微軟的NoSQL戰(zhàn)略 \ 137
2013年，MongoDB在數(shù)據(jù)庫(kù)市場(chǎng)中的占有率很高，成為很多創(chuàng)業(yè)者和初創(chuàng)企業(yè)的首選。微軟究竟做了哪些事情，將Cosmos DB變成能與MongoDB競(jìng)爭(zhēng)的產(chǎn)品的呢？
25 Palantir：神秘的大數(shù)據(jù)獨(dú)角獸公司 \ 144
Palantir是一家神秘的大數(shù)據(jù)創(chuàng)業(yè)公司，由硅谷著名投資人彼得?蒂爾創(chuàng)辦，其主要服務(wù)對(duì)象是美國(guó)政府部門(mén)、特情組織和軍隊(duì)，所以外界對(duì)其了解甚少。
26 Splunk：機(jī)器日志數(shù)據(jù)分析帝國(guó) \ 149
Splunk是大數(shù)據(jù)圈里少有的盈利并且蓬勃發(fā)展的企業(yè)。它主要服務(wù)于機(jī)器日志數(shù)據(jù)分析領(lǐng)域，隨后又不斷拓展業(yè)務(wù)，演變開(kāi)發(fā)了若干不同類(lèi)型的軟件。在本文中我們就來(lái)好好聊聊Splunk的進(jìn)階史。
27 Confluent：Kafka項(xiàng)目背后的公司 \ 155
Kafka是LinkedIn開(kāi)發(fā)的開(kāi)源項(xiàng)目，它主要通過(guò)日志文件傳輸?shù)姆绞皆诓煌臄?shù)據(jù)源之間同步數(shù)據(jù)。而Confluent公司是Kafka開(kāi)源項(xiàng)目的創(chuàng)始人離開(kāi)LinkedIn以后所創(chuàng)立的公司，主要致力于Kafka項(xiàng)目的商業(yè)化。在本文中，我們來(lái)講講這家公司的故事。
28 Powerset：HBase的“老東家” \ 160
Powerset是一家在多年前被微軟收購(gòu)的創(chuàng)業(yè)公司，目前在語(yǔ)義搜索方面開(kāi)疆拓土。它為開(kāi)源社區(qū)貢獻(xiàn)了BigTable的Hadoop版實(shí)現(xiàn)。本文就來(lái)講講這家公司的發(fā)展史。
29 Cassandra和DataStax公司的故事 \ 166
Cassandra是開(kāi)源社區(qū)仿照Amazon Dynamo開(kāi)發(fā)的產(chǎn)品，它最初由Facebook開(kāi)發(fā)并開(kāi)源，卻又被公司內(nèi)部棄用。創(chuàng)業(yè)公司DataStax對(duì)Cassandra大力支持，造就了今天繁榮的Cassandra社區(qū)。
30 Databricks：Spark的數(shù)據(jù)“金磚”王國(guó) \ 172
Spark是Hadoop生態(tài)圈里大紅大紫的項(xiàng)目，它甚至取代了Hadoop MapReduce的地位。Databricks是對(duì)這個(gè)項(xiàng)目進(jìn)行商業(yè)化的企業(yè)。本文就來(lái)聊聊這家企業(yè)的故事。
31 Data Artisans和浴火重生的新一代大數(shù)據(jù)計(jì)算引擎Flink \ 178
Data Artisans是對(duì)Flink進(jìn)行商業(yè)化的公司。Apache Flink是一個(gè)年輕的新型處理引擎，是Hadoop社區(qū)里Spark的主要競(jìng)爭(zhēng)對(duì)手。Flink設(shè)計(jì)理念先進(jìn)，但是工程實(shí)現(xiàn)方面相對(duì)落后。
32 Dremio：基于Drill和Arrow的大數(shù)據(jù)公司 \ 183
Dremio是另外一家大數(shù)據(jù)創(chuàng)業(yè)公司，其創(chuàng)始人是從MapR公司跳槽出來(lái)的。Dremio的主要產(chǎn)品就是Dremio項(xiàng)目，它吸收了MapR主導(dǎo)的開(kāi)源項(xiàng)目Drill的精華，以開(kāi)源項(xiàng)目Arrow為核心開(kāi)發(fā)。本文就來(lái)講講Dremio公司和Dremio平臺(tái)的來(lái)龍去脈。
33 Imply：基于Druid的大數(shù)據(jù)分析公司 \ 189
開(kāi)源大數(shù)據(jù)項(xiàng)目Druid由Metamarkets開(kāi)發(fā)。開(kāi)始時(shí)籍籍無(wú)名，后來(lái)被一些大公司，尤其是Airbnb使用和推廣以后，受到了很多關(guān)注。
34 Kyligence：麒麟背后的大數(shù)據(jù)公司 \ 194
麒麟（英文名字是Kylin）是第一個(gè)全部由中國(guó)人主導(dǎo)的Apache頂級(jí)開(kāi)源項(xiàng)目，Kyligence則是對(duì)這個(gè)項(xiàng)目進(jìn)行商業(yè)化的公司。本文就來(lái)看看麒麟和Kyligence的故事。
35 Snowflake：云端的彈性數(shù)據(jù)倉(cāng)庫(kù) \ 200
Snowflake是一個(gè)構(gòu)建在云端的彈性數(shù)據(jù)倉(cāng)庫(kù)，它背后的公司與之同名。Snowflake公司的創(chuàng)始人和管理層都有強(qiáng)大的背景，本文就來(lái)講一下Snowflake及其公司的故事。
36 TiDB：一個(gè)國(guó)產(chǎn)新數(shù)據(jù)庫(kù)的創(chuàng)業(yè)故事 \ 205
TiDB是位于北京的一家創(chuàng)業(yè)公司PingCAP的產(chǎn)品，它的目標(biāo)是實(shí)現(xiàn)一個(gè)開(kāi)源的類(lèi)似谷歌Spanner的系統(tǒng)，這個(gè)產(chǎn)品非常有特色，本文就來(lái)聊聊TiDB和它背后的公司。
37 大數(shù)據(jù)創(chuàng)業(yè)公司的前景：紅海vs．藍(lán)海 \ 211
關(guān)于創(chuàng)業(yè)的市場(chǎng)，通常有紅海和藍(lán)海的說(shuō)法，藍(lán)海容易成功，紅海相對(duì)艱難。對(duì)大數(shù)據(jù)創(chuàng)業(yè)公司來(lái)說(shuō)，藍(lán)海多半指的是應(yīng)用軟件類(lèi)的市場(chǎng)，而紅海指的則是基礎(chǔ)架構(gòu)軟件類(lèi)的市場(chǎng)。本文將對(duì)比分析一下這兩類(lèi)市場(chǎng)。
38 如何通過(guò)分析企業(yè)的技術(shù)積累來(lái)判斷其發(fā)展前景 \ 216
通過(guò)分析企業(yè)的技術(shù)積累，能夠有效地判斷企業(yè)的發(fā)展前景如何。我們需要關(guān)注三個(gè)方面：技術(shù)適用的場(chǎng)景是否有巨大的盈利空間，技術(shù)本身是否有領(lǐng)先和獨(dú)到之處，以及技術(shù)的積累是否足夠深和廣。