大數據浪潮之巔：新技術商業制勝之道（簡體書）

本書以各個企業在大數據浪潮中跌宕起伏的經歷為核心來講述大數據發展史，並分析各個大數據企業迥異的發展歷程，探討在新技術浪潮來臨時應該如何應對。本書主要分為兩部分，前半部分講述穀歌、微軟、IBM、雅虎、亞馬遜、阿裡巴巴等大公司在大數據浪潮中的發展史，後半部分講述各個大數據創業公司的發展歷程和現狀。在每部分的最後，還通過專門的文章分析並總結了各企業在大數據浪潮中的作為和選擇所產生的影響。全書從公司的視角出發為大家呈現了一幅波瀾壯闊的大數據領域發展史，讀者不僅可以瞭解大數據技術，更能領略大數據領域的全貌，從各公司的故事中吸取教訓，學習思路。本書適合對大數據技術和商業思維有興趣的讀者閱讀。

徐飛，著名大數據專家。擁有浙江大學本科學位，美國佛羅里達大學計算機博士學位，研究方向為數據庫系統。從事大數據的基礎構架研發10餘年，先後在微軟和TabIeau等知名公司的大數據核心團隊工作，擔任過首席架構師。在國際頂級會議和雜誌上發表論文10餘篇。2016年開通微信公眾號“飛總聊IT”，並原創“大數據那些事”系列文章，系統闡述了大數據發展史，以及發展過程中的種種技術和商業決策案例，受到廣泛好評。

√ IT版《萬曆十五年》，技術之上的“大歷史觀”，激蕩十年的商業複盤。
√ 讀坊間故事般的輕鬆體驗，實則飽經洗練、穿透歲月的獨立思考與批判精神。
√ 備受互聯網高端人士推崇的大號“飛總聊IT”作者深度洞察科技公司商業邏輯。
√ 真內行，白描生態圈眾生相，入木三分；大高手，俯瞰大數據全景圖，包羅萬象。
√ 既有聖地矽谷技術與商業完美融合之典範，又有國內互聯網顛覆創新重塑世界之楷模。
√ 作者親歷大數據發展全程，十餘年在微軟|Tableau|華為西雅圖研發中心等從事相關工作。
√ 技術創業法則：長短期平衡|先發優勢|彎道超車|技術驅動|開源貢獻|僵化vs.混亂|框架束縛。
√ 大數據戰國列傳，IT成敗案例卷宗，剖析技術興衰背的深層根源，參透互聯網商業的演進規律。

推薦語


近年來大數據技術迅速發展，隨著智能手機、可穿戴設備以及物聯網設備的普及，我們正步入一個數據爆炸的時代，收集、存儲和處理大數據的雲計算平臺應運而生。有了雲計算作為基礎，人工智能技術才得以迅猛發展，從而更精准地挖掘和釋放數據中潛在的價值。
與飛總相識多年，每次與他交流都讓我受益匪淺，總能被他在大數據領域的廣闊見識和獨到見解吸引。飛總的微信公眾號“飛總聊IT”在業界小有名氣，他在公眾號中連載的“大數據那些事”系列文章是本書內容的基礎。本書以淺顯易懂的語言分析了各公司的大數據之路，介紹了各個大數據技術平臺的功能與特點，內容連貫完整，既能讓讀者系統瞭解大數據領域的發展歷史和現狀，又能促使讀者一起思考、交流大數據領域未來的發展方向。
劉國偉
谷歌資深軟件工程師

作為一名大數據領域的資深專家，飛總在本書中用生動活潑的語言深入淺出地描繪了大數據生態圈的“眾生相”。是什麼吸引著我在淩晨時分困意全無地一口氣讀完了全書？我想，一方面是飛總清晰地描繪了各個公司及其技術相生相剋的關係，讓我這個實用主義者第一次從宏觀角度看到了這個領域的全貌；另一方面，也許對我來說是更重要的方面，書中的內容激發了我對決策和管理的思考：初創公司應該如何平衡短期增長和長期留存？先發優勢應該如何保持？後起之秀應該怎樣彎道超車？頂尖技術對於商業成功和項目成功的貢獻各有多大？大公司將代碼開源的行為是在彙集資源還是在讓資源流失？管理僵化和管理混亂哪個會導致公司更快地垮掉？公司應該如何利用資源幫助一個好點子成長，而不是用已有的技術框架綁架它？
所以，即使你對大數據技術並不瞭解，這本書中豐富的商業案例也會為你帶來很多啟發。
殷培
Facebook經理

數據庫從業人員往往都保持著大量的輸入，讀學術論文、讀技術總結、讀商業分析，每天都要吸納更多的知識和技能。可是，像飛總這般樂於輸出、甘於輸出、不計代價地輸出的人，倒不常見。這是一種能力，高屋建瓴地梳理歸納，而後有條理、有章程地輸出的能力；更是一種態度，已成名的大家總是過於愛惜自己的羽毛，不願輕易公開地表達對事物的想法和見解，特別是當自己身上已打上公司tag、立場tag，而不是所謂“獨立大V”時。
飛總在本書中並沒過多地著墨於技術本身，而是站在技術之上，從宏觀的、大環境的層面對商業案例進行分析探討，在我看來，頗有黃仁宇老先生“大歷史觀”的感覺。大數據的時代已經開啟，大數據的時代遠未結束，希望能看見飛總的更多好文，也謝謝他高質量的、持續的分享。
龔瑋薇
Oracle數據庫系統技術經理

飛總的文章富有批判精神且論述有理有據，這一點深深吸引了我。一篇篇文章恰似坊間故事，把來龍去脈講得非常有趣，更于有趣之中蘊含著思考，於思考之間洋溢著情感。願飛總持之以恆，不斷為粉絲們呈現佳作。
李海翔（那海藍藍）
數據庫內核開發者，
《數據庫查詢優化器的藝術：原理解析與SQL性能優化》、
《數據庫事務處理的藝術：事務管理與併發控制》作者，
騰訊T4級工程師



我們處在技術高速發展的時代，而商業是技術最好的驅動力。一段代碼可能只能默默無聞地放在我們自己的測試服務器上，也可能每天被調用上百萬次。決定代碼生命週期的往往不是代碼質量本身。新技術可能推動商業模式的發展，也可能讓項目走向低迷。飛總對技術和商業的關係有著深入的思考，他把這些思考的精華寫在了這本書中，將我帶入了另一個認知維度。
林曉斌
極客時間“MySQL實戰45講”專欄作者，MySQL專家

矽谷之所以被稱為IT聖地，不僅因為這裡實現了大量科技創新，更因為這裡實現了技術和商業的完美結合，值得國內的IT企業認真思考和學習。徐飛的這本《大數據浪潮之巔：新技術商業制勝之道》以通俗易懂、幽默風趣的語言，將矽谷和國內典型的技術與商業融合創新的案例娓娓道來，其中一些是失敗的教訓，比如MongoDB追求技術上的易用性而忽視了商業應用的安全性，因而給了微軟的CosmosDB大舉侵佔市場的機會；另一些則是成功的經驗，比如Spark通過綜合不同大數據存儲系統的優點，並針對性地改造其缺點實現了後來居上。通過介紹這些正反面案例，帶領讀者從中汲取經驗，學習思路。
謝梁
滴滴首席數據科學家
大數據是被稱為“未來石油”的珍貴資源，大數據的概念一被提出，便成為各大知名IT企業爭奪的制高點。穀歌、微軟、IBM、阿裡巴巴等公司都不惜重金進行相關技術的研究和商業化實踐，一時間大數據江湖風起雲湧。
飛總在微軟、Tableau、華為西雅圖研發中心等多家公司從事過十餘年大數據相關的工作，對大數據技術以及商業化實踐形成了獨到而深刻的見解。本書用淺顯易懂又風趣幽默的語言，向讀者分析了MongoDB、微軟、穀歌、亞馬遜、Facebook等世界IT巨頭及各個創業公司的技術革新、商業模式變化，以及由此導致的企業沉浮。既能滿足讀者的獵奇心理，又能讓人學到大數據、技術型企業的商業運作等專業知識，給人帶來了深刻的思考與豐富的啟迪。
汪雲海
山東大學計算機學院教授


推薦序一


第一次讀到徐飛的大數據系列文章是在他的“飛總聊IT”公眾號上，我一口氣讀完了所有歷史文章。後來有機會見到徐飛，才發現我們以前是同事。我於2006年加入微軟的必應搜索引擎開發部門，主要從事搜索技術研發；徐飛比我晚三年加入，他當時直接進入了必應的大數據Cosmos部門。說來也奇怪，我們在同一棟樓工作了若干年，卻沒有正式見過面，這可能是因為那段時間必應正野蠻生長，人員流動比較大。
過去十年，整個互聯網產業發生了翻天覆地的變化，從大數據到雲計算再到人工智能，變革一浪接著一浪。讀徐飛的大數據系列文章，我再次感受了這場轟轟烈烈的變革。讀完文章再看現在的格局，有種以史為鏡的感覺，對現在的很多挑戰都有了新的思考。作為一名大數據老兵，徐飛是科班出身，所寫的文章不僅有精闢的技術見解，而且穿插了很多背後的故事，引經據典、娓娓道來，有種讀小說的感覺。不少故事和過程，特別是一些重要的技術決策，我都是第一次知道完整的來龍去脈。其中，穀歌的“三駕馬車”、SQL與NoSQL之爭、從MongoDB到CosmosDB都是我們親身經歷的事件。我對微軟相關的文章尤其感興趣，因為其中的商業和技術決策是很好的學習案例，值得再三回顧：從Cosmos到CosmosDB，從閉源到開源，從“面子”到“裡子”，其中的興衰一言難盡，值得所有技術公司借鑒。書中還分析了一些很新的系統，比如阿裡巴巴的Blink系統等。
如果你對計算機和互聯網行業感興趣，想瞭解一些偉大的技術和公司的發展史，那麼這本書正適合你，它會告訴你很多有趣的故事。更重要的是，你可以通過這些故事來瞭解背後的原因，所謂知其然且知其所以然。

汪軍華
微軟傑出工程師（Distinguished Engineer）


推薦序二


極客時間App上的專欄“技術與商業案例解讀”上線後不久，我們請專欄作者徐飛來公司做直播，給用戶分享他寫這個專欄背後的故事，於是我第一次見到了飛總。和任何一個技術出身的小夥伴一樣，飛總有點羞澀，但和很多技術人又不太一樣的是，飛總很有自己的觀點，而且敢說。時間過去很久了，我還能很清楚地記得他指點江山般地分析一家當紅公司的種種優勢與劣勢，暢快淋漓而有見地。
文如其人，飛總的專欄也是如此。每次看或者聽專欄的內容時，我都會納悶：這哥們兒的知識怎麼那麼淵博？好像沒有他不瞭解的公司，沒有他不知道的奇聞逸事。也許正是這個原因，在極客時間App一開始用戶量還不大的情況下，飛總的專欄就有幾千人訂閱。因為工作原因，我個人特別喜歡瞭解那些科技公司的歷史。在我從事的軟件開發領域，技術更迭實在太快，如果不能從源頭理清這些技術的發展脈絡，就很容易迷失在歷史的謎團裡。
飛總的文章不僅有趣，而且很有參考價值。有一次，飛總分析了當時很火熱的大數據公司Cloudera的業務模式、競爭對手及財務狀況，然後他斷言Cloudera當時的估值虛高，大概是其實際價值的兩倍。這篇文章發佈後的第三天，就傳出了Cloudera公司自砍一半估值上市的新聞。聽起來有點不可思議，但這也從側面說明飛總對大數據行業的瞭解有多麼深刻。
本書是將飛總的專欄中大數據方面的內容抽出來整理而成的。裡面既有對國內外當紅的大數據產品的解析，比如TiDB、麒麟（Kyligence）以及被阿裡巴巴以9000萬歐元收購的Flink，又有國際知名公司的大數據發展史，公司包括阿裡巴巴、微軟、亞馬遜、IBM等，讀起來都非常有趣。技術變革從來都不是一件容易的事情，但是不管技術怎麼變動，每家公司都希望在保持業務平穩增長的狀態下發展，在移動互聯網時代下做到這一點很難，不能掉以輕心。
古人說“以史為鏡，可以知興替”。相信有心的讀者朋友――不論是程序員還是在IT企業家，都會從本書受益良多。

霍泰穩
極客邦科技創始人兼CEO


推薦序三


從20世紀60年代至今，信息技術的版圖不斷擴大，從大型機、小型機、PC，到操作系統、網絡、數據庫、ITOM、雲計算，而大數據無疑是近十年來最引人矚目的新領域之一。
與其他技術領域相比，大數據領域的故事尤其難講，一是因為領域新，在一個領域穩定下來之前，是不容易講清楚其來龍去脈的。二是大數據領域的技術性很強，涉及的細分領域也很多，外行很難理清技術和需求之間的關係，自然更難看清興衰背後的深層根源。第三，大數據領域中的技術發明者和商業角逐者既有大數據技術的使用者（比如雅虎、Facebook），又有產品和技術提供者（比如MongoDB、Hadoop、穀歌），更有在技術使用者和商品提供者之間轉換的雲廠商巨頭（比如亞馬遜、阿裡巴巴、微軟等），不熟悉該領域的專家很難看清楚其中的演進規律。第四，在商業模式上，大數據領域是少有的甚至可以說是第一個以開源模式為主導的技術領域。

飛總在大數據領域有扎實的學術功底和豐富的企業實踐經驗，而且他對大數據領域的企業發展歷程也有濃厚的興趣，進行了深入的思考，因此才為我們呈現了這本精彩的

目錄


1 穀歌的大數據路：從擁有“三駕馬車”到喪失先發優勢 \ 1
穀歌的“三駕馬車”開啟了大數據時代，然而在這個新時代裡，穀歌卻喪失了先發優勢。這是為什麼呢？我認為是穀歌對待開放架構的態度相對保守導致的。
2 穀歌的大數據路：一場影響深遠的論戰 \ 7
在大數據發展史上，以邁克爾·斯通佈雷克為代表的數據庫元老級人物，針對MapReduce向穀歌提出了質疑。這場著名的論戰給整個業界帶來了動盪，最後誕生了Spark。
3 穀歌的大數據路：谷歌的“黑科技” \ 14
在大數據的上半場，穀歌以“三駕馬車”引領時代，但後來因為決策失誤喪失了先發優勢；而在大數據的下半場，穀歌帶著“黑科技”Spanner數據庫系統閃亮登場，效果如何呢？
4 如何讀懂類似穀歌“三駕馬車”這樣的技術論文 \ 20
讀懂一篇技術論文，首先需要明白“論文是寫給誰看的”和“論文是怎麼寫出來的”這兩個基本問題，然後就可以有針對性地提升自己閱讀論文的功力。
5 雅虎：大數據領域的“活雷鋒” \ 26
雅虎，這個早已淡出我們視線的公司，卻是大數據領域的“活雷鋒”，可以說正是它促成了今天的Hadoop生態圈。這篇文章就來說說它的故事。
6 IBM的大數據路――起早貪黑趕了個“晚集” \ 31
作為歷史悠久的計算機公司，IBM早早涉足了大數據領域，最終卻只能寄希望於比自己的產品起步還要晚的Spark，我們來看看其中發生了什麼。
7 三大社交媒體公司對Hadoop生態圈的貢獻 \ 35
雅虎把Hadoop開源以後，當時著名的三大社交媒體公司Facebook、LinkedIn和Twitter都加入了這個生態圈，並做出了巨大貢獻。Hadoop生態圈給我們的啟示是，抱團取暖才是生存之道。
8 微軟的大數據發展史：微軟矽谷研究院 \ 41
微軟矽谷研究院曾經在微軟的大數據發展歷程中扮演了非常特殊的角色，它推出的Dryad和DryadLINQ可以說是兩個另類的產品，雖然未曾大受歡迎，卻對大數據的發展有著不可磨滅的貢獻。
9 微軟的大數據發展史：必應的Cosmos \ 47
Cosmos是微軟必應搜索引擎下面的團隊開發的大數據基礎架構，代表了微軟在大數據方面的最高成就。
10 微軟的大數據發展史：Azure的發展 \ 53
微軟大數據發展史上的另一個分支是微軟雲計算平臺下的大數據項目Azure。這個項目產生了HDInsight、Azure Data Lake、CosmosDB三大平臺，但最後只有CosmosDB取得成功。

11 亞馬遜的大數據故事：從先驅者到一味索取者 \ 59
在大數據技術發展的早期，亞馬遜發表了Dynamo系統的論文，成為和穀歌“三駕馬車”的論文一樣具有深遠影響的論文。然而隨著大數據的發展和Hadoop生態圈的建立，亞馬遜對大數據圈的貢獻極少，但亞馬遜自己卻從中獲得了巨大的利益。
12 亞馬遜的大數據故事：創新和“拿來”並存的雲服務 \ 64
亞馬遜不僅在Hadoop生態系統裡蓬勃發展，還推出了自己的數據分析產品。這些產品有些是亞馬遜自己研發的，有些則只是對開源的產品進行了包裝。但是，亞馬遜一如既往地沒有反哺開源項目。
13 阿裡巴巴的大數據故事：數據分析平臺發展史 \ 70
國內大數據平臺做得最好的公司當屬阿裡巴巴。本文就來介紹一下阿裡巴巴數據分析平臺的發展情況：數據分析平臺的疊加開發。
14 阿裡巴巴的大數據故事：流計算引擎發展史 \ 75
在阿裡巴巴的發展過程中，流數據處理一直是一項十分重要的技術，阿裡巴巴也在這方面做了很多有意義的項目。本文就來介紹一下阿裡巴巴的流計算引擎JStorm與Blink的發展史。
15 大公司的大數據戰略得失：自建“輪子”成本高 \ 80
大公司的大數據平臺可分為兩類，一類是自己搭的基礎架構（自建“輪子”），另一類是抱團取暖所形成的Hadoop生態圈，兩者各有利弊。本文將分析第一種情況，主要以穀歌、微軟、阿裡巴巴自己搭建的大數據平臺架構為代表。
16 大公司的大數據戰略得失：抱團取暖的Hadoop生態圈 \ 86
除了自建“輪子”的公司，其他各大公司走向了一條抱團取暖的道路，就是你搭一個模塊，我搭一個模塊，大家一起開源出來，最後組成了一個叫作Hadoop的生態圈。其中有為社區積極做貢獻的公司，也有以賺錢為目的的公司，還有一味索取的公司。
17 Hadoop三國之“魏國”――Cloudera \ 91
Hadoop領域曾經有三家發行商互相角逐，其中不乏各種戰術與謀略，仔細琢磨，你會發現這三家公司的關係與三國時期的魏蜀吳之間的關係非常相似。本文講述Hadoop三國之“魏國”――Cloudera的故事。
18 Hadoop三國之“吳國”――MapR \ 97
Hadoop三國之“吳國”MapR，實力強大卻很少參與競爭，這篇文章就來說說它特立獨行的故事。
19 Hadoop三國之“蜀國”――Hortonworks \ 103
Hadoop三國之“蜀國”Hortonworks始終堅持100%開源，本文講述它的故事。
20 Hadoop及其發行商的未來 \ 111
Hadoop已誕生十多年，圍繞其生態圈誕生了諸多企業，例如前面講的社交媒體公司、三大發行商，而亞馬遜卻最終成為最大的受益者。
21 文檔數據庫的締造者MongoDB（上） \ 116
MongoDB的誕生像一場意外。它是一個文檔型數據庫，由10gen公司開發，以易用性聞名。本文就來講述MongoDB團隊的開發重心、商業運作模式和產品盈利方式。
22 文檔數據庫的締造者MongoDB（下） \ 127
MongoDB的開發團隊一向重視用戶體驗而不重視核心功能，其負面影響終於以一次安全危機的方式暴露。加上公司曾經獲得具有CIA背景的風投公司的投資，這一併引起了很多人的顧慮。當然，這一切都擋不住MongoDB公司最終的成功上市。
23 以MongoDB為例，看基礎架構類產品創業 \ 132
作為一款基礎架構類產品，MongoDB以其易用性聞名，然而MongoDB的開發者不注重系統的可靠性，只注重可用性，導致很多MongoDB的用戶轉向了其他產品。基礎架構類產品的創業者應該如何平衡可用性和可靠性？這是一個值得深思的問題。
24 直面MongoDB，談微軟的NoSQL戰略 \ 137
2013年，MongoDB在數據庫市場中的佔有率很高，成為很多創業者和初創企業的首選。微軟究竟做了哪些事情，將Cosmos DB變成能與MongoDB競爭的產品的呢？
25 Palantir：神秘的大數據獨角獸公司 \ 144
Palantir是一家神秘的大數據創業公司，由矽谷著名投資人彼得·蒂爾創辦，其主要服務對象是美國政府部門、特情組織和軍隊，所以外界對其瞭解甚少。
26 Splunk：機器日誌數據分析帝國 \ 149
Splunk是大數據圈裡少有的盈利並且蓬勃發展的企業。它主要服務于機器日誌數據分析領域，隨後又不斷拓展業務，演變開發了若干不同類型的軟件。在本文中我們就來好好聊聊Splunk的進階史。
27 Confluent：Kafka項目背後的公司 \ 155
Kafka是LinkedIn開發的開源項目，它主要通過日誌文件傳輸的方式在不同的數據源之間同步數據。而Confluent公司是Kafka開源項目的創始人離開LinkedIn以後所創立的公司，主要致力於Kafka項目的商業化。在本文中，我們來講講這家公司的故事。
28 Powerset：HBase的“老東家” \ 160
Powerset是一家在多年前被微軟收購的創業公司，目前在語義搜索方面開疆拓土。它為開源社區貢獻了BigTable的Hadoop版實現。本文就來講講這家公司的發展史。
29 Cassandra和DataStax公司的故事 \ 166
Cassandra是開源社區仿照Amazon Dynamo開發的產品，它最初由Facebook開發並開源，卻又被公司內部棄用。創業公司DataStax對Cassandra大力支持，造就了今天繁榮的Cassandra社區。
30 Databricks：Spark的數據“金磚”王國 \ 172
Spark是Hadoop生態圈裡大紅大紫的項目，它甚至取代了Hadoop MapReduce的地位。Databricks是對這個項目進行商業化的企業。本文就來聊聊這家企業的故事。
31 Data Artisans和浴火重生的新一代大數據計算引擎Flink \ 178
Data Artisans是對Flink進行商業化的公司。Apache Flink是一個年輕的新型處理引擎，是Hadoop社區裡Spark的主要競爭對手。Flink設計理念先進，但是工程實現方面相對落後。
32 Dremio：基於Drill和Arrow的大數據公司 \ 183
Dremio是另外一家大數據創業公司，其創始人是從MapR公司跳槽出來的。Dremio的主要產品就是Dremio項目，它吸收了MapR主導的開源項目Drill的精華，以開源項目Arrow為核心開發。本文就來講講Dremio公司和Dremio平臺的來龍去脈。
33 Imply：基於Druid的大數據分析公司 \ 189
開源大數據項目Druid由Metamarkets開發。開始時籍籍無名，後來被一些大公司，尤其是Airbnb使用和推廣以後，受到了很多關注。
34 Kyligence：麒麟背後的大數據公司 \ 194
麒麟（英文名字是Kylin）是第一個全部由中國人主導的Apache頂級開源項目，Kyligence則是對這個項目進行商業化的公司。本文就來看看麒麟和Kyligence的故事。

35 Snowflake：雲端的彈性數據倉庫 \ 200
Sn