大數據3.0升級版：正在到來的資料革命，以及它如何改變政府、商業與我們的生活（簡體書）

《大資料》3.0升級精裝版，增加作者自序，以及歸國以來的演講、專題――資料是我們新經濟的土壤，是我們未來智慧社會的土壤，資料可以治國，還可以強國。美國第一，中國第幾？公佈官員財產美國是怎麼做的，美國能讓少數人腐敗起來嗎？美國式上訪是怎麼回事？憑什麼美國礦難那麼少？全民醫改美國做得到嗎？美國總統大選有什麼利器才能贏？下一輪全球洗牌我們世界工廠會被淘汰嗎？……除了上帝，任何人都必須用資料來說話。大資料浪潮，洶湧來襲，與互聯網的發明一樣，這絕不僅僅是資訊技術領域的革命，更是在全球範圍啟動透明政府、加速企業創新、引領社會變革的利器。現代管理學之父德魯克有言，預測未來最好的方法，就是去創造未來。而“大資料戰略”，則是當下領航全球的先機。大資料，這一世界大潮的來龍去脈如何？資料技術變革，何以能推動政府信息公開、透明和社會公正？何以促發行政管理和商業管理革新，並創造無限商機？又何以既便利又危及我們每個人的生活？Google、百度之類搜索服務，何以會不再有立足之地？引領世界的資料帝國――美國和西歐，正在如何應對大資料時代？我們中國，又當如何作為？本書通過講述美國半個多世紀資訊開放、技術創新的歷史，以別開生面的經典案例――奧巴馬建設“前所未有的開放政府”的雄心、公共財政透明的曲折、《資料品質法》背後的隱情、全民醫改法案的波瀾、統一身份證的百年糾結、隱私危機、街頭員警的創新傳奇、美國礦難的悲情歷史、商務智慧的前世今生、資料開放運動的全球興起，以及雲計算、Facebook和推特等社交媒體、Web3.0與下一代互聯網的未來圖景等等，為您一一細解，資料創新給公民、政府、社會帶來的種種挑戰和變革。美國是全書主體，但又處處反觀中國當下的現實。回望中國，胡適批評“差不多先生”，黃仁宇求索“數目字管理”，作者從太平洋對面看到中美兩國的差距，深知中國缺少什麼、需要什麼，故將十多年觀察、思索所得，又新增微學校、微學位等教育領域正在發生的革命，以及建言中國“大資料戰略”的重要文章和訪談，淘洗成這本開創性的“大資料之書”――《大數據：正在到來的資料革命，以及它如何改變政府、商業與我們的生活》。

塗子沛，著名資訊管理專家，江西吉安人，曾在美國學習、工作多年，2014年12月從美國矽谷回國，出任阿裡巴巴集團副總裁。
本科畢業于華中科技大學電腦系，研究生就讀于卡內基梅隆大學，獲公共管理碩士和資訊技術科學碩士學位。赴美留學前，曾在武警部隊和公共部門磨礪10年，深刻洞悉中美兩國的科技動態和文化理念。作者還先後擔任上海真愛夢想基金會理事、中國旅美科技協會副主席等職務，並在國內多所大學有客座教職。
《大資料》這本書在中國社會開大資料之先河，引發了對大資料戰略、資料治國和開放資料的討論，被盛讚“為華文世界開創了一個重要話題”。 作者的另一本著作《資料之巔》，提出當前資訊技術的發展，已經讓中國獲得了後發優勢，中國要在大資料時代的全球競爭中勝出，需要把大資料從科技符號提升成為文化符號，在全社會宣導資料文化。

編輯推薦
★《亞洲週刊》“年度十大好書”，持續暢銷；從0到1，開中國先河，領跑大資料時代*好的書， 經典之作——**次詳盡講述“大資料浪潮”的來龍去脈；**次深入解讀“大資料時代”如何改變政府、商業和我們每個人的生活；**次犀利闡明“資料”怎樣推動民主進程……
★ 各界要人盛讚推薦——汪洋【中央高層人物】、柳傳志【聯想集團名譽主席】、任志強【中國房地產風雲人物】、達文波特【全球**的管理諮詢大師】、許倬雲【史學大家】、謝文【著名IT評論人】、薛海培【奧巴馬總統大選亞裔事務顧問、美國華人全國委員會會長】、楊敘【英特爾全球副總裁、中國區總裁】、【中美10大高校著名學者】……各界要人盛讚推薦！
★《大資料》，這裡有“中國對手”——
大數據浪潮，洶湧來襲。20世紀大蕭條以來，美國作為世界強國的開放歷史，資料技術浪潮的興起過程，氣勢磅礴，波瀾壯闊。真正讀懂中國趨勢，一定要先讀懂美國。美國政府為什麼能，中國到底缺什麼？
★《大資料》，這裡有“中國建言”——
哈佛大學商學院訪問教授、全球**的管理諮詢大師達文波特，把脈經濟，資料治國，專門為中國政經兩界提示智庫建言：“在很多領域，中國政府和中國的企業都有雄心勃勃的計畫，這引起了全世界的關注，這些雄心和計畫，現在應該拓展到大資料的領域。”
★《大資料》，這裡有“中國財富”——
現代管理學之父德魯克有言，預測未來*好的方法，就是去創造未來。商務智慧、雲計算、Facebook、推特、Web3.0、語義網……資料戰爭，就是未來之爭！資料興則企業興，資料強則企業強！叫醒中國，超越中國模式的粗放式增長，邁向精細化的管理革命，大資料將是下一個社會發展階段的“石油”和“金礦”。
★《大資料》，這裡有“中國致敬”——
活著就為改變世界，只有偏執狂才能生存，不要以為約伯斯、蓋茨、紮克伯格才這樣。美國之為美國，還有堅持資訊自由的新聞記者、發現摩爾定律的工程師、定義資料倉庫的實業家、首倡普適計算的業餘鼓手、鼓吹財政公開的民間活動家、宣導資料開放運動的青年學生，以及活躍在無數公民自治組織的普通個人。
★《大資料》，這裡有“中國問題”——
回望中國，胡適批評“差不多先生”，黃仁宇求索“數目字管理”，我們的世界看起來雷打不動。大資料時代，挑戰中國，摘不下“差不多先生”的文化標籤，我們世界工廠還將是一個落後的100年！
★《大資料》，這裡有“中國鄉愁”——
大資料戰略，重新洗牌全球格局：美國，再一次領跑世界；中國，卻很可能再失良機而渾然不知！中國迷局如何解開？**海歸視野、近20年中美職業生涯的作者，從太平洋對面看到中美兩國的差距，披露大量美國真實案例，*先為華文世界開啟大資料重要話題，寫成這本意在興邦治國的戰略之書，圖文並茂，老百姓也看得懂。

【新版自序】資料可以治國，還可以強國
今年春節期間，出版社告訴我，作為中國大資料領域的開山之作，《大資料》很受歡迎，他們希望滿足市場的需求，推出第三個版本，囑咐我寫點東西。
之所以受到歡迎，可能是因為獨樹一幟。一提到大資料，很多人的第一反應，是資料在商業領域中的作用，所津津樂道的，也是精准行銷，即通過資料分析增強對使用者的洞察、擴大行銷收入。但本書所強調的，卻是“資料不僅可以治國，還可以強國”。
資料治國，是指要憑藉對資料的有效收集、處理和分析來治理國家，決定國家的大政方針和具體政策。
從定義看，資料是對客觀世界進行量化和記錄的結果。量化，是人類進行科學研究最根本的手段，就此而言，資料治國也可以理解為“用定量分析、實證研究的科學方法來治理國家”。此外，資料表示的是過去，關注、表達的卻是未來。資料之中蘊藏著社會發展的規律，“資料治國”的提法，也暗含著“人類可以更好地把握未來”之意。
回顧人類的歷史，任何一個國家的治理，都需要參照資料，但由於資訊技術的進步、記錄手段的普及，物理世界的狀態、個人的社會行為得到了前所未有的記錄，這種記錄的細微性越來越細、維度越來越多、頻度越來越密，形成了“大資料”。今天的資料治國，含義遠遠超出了“參照資料”。
例如，當前國人關心的頭號問題，莫過於空氣品質。要解決好這個問題，從環境的監測、感測器的安裝，到空氣標準的設立、污染原因的分析，再到高污染、高能耗、低產值傳統產業的轉型，和智慧電網、智慧電錶的使用和普及，整個治理鏈條都貫穿了資料。又例如交通擁堵，如今很多城市，立交橋高達三四層、地鐵線也在快速擴張，卻趕不上車輛增加的速度，在資源增長、空間有限的情況下，唯一的出路，是用好大資料，對城市的狀態進行即時的分析和預測，不斷優化現有資源的使用情況。還有當下智慧城市的建設，大資料的作用可謂重中之重。
今天的政府，無論是東方、西方，都有人在不斷嘗試，試圖把“憑藉資料來治理社會”的模式推到極致。本書第七章“全國隱私風波”重點闡述了十幾年前美國各方力量圍繞“萬維資訊觸角計畫”（TIA）產生的糾結和較量。2002年，在國防部長拉姆斯菲爾德、海軍中將波因德克斯特的主導下，美國國防部高級專案研究所（DARPA）試圖建立一個超級資料庫，把全社會每一個人的基本資料、信用卡交易資訊、醫療保險記錄、出入境記錄、航空和酒店資訊、電子郵件、電話記錄、網路搜索記錄等等資料都整合到一起，然後通過資料採擷和監控，在大量的資訊當中發現“信號”，實現有效的社會治理和管控。這個計畫，因為可能侵犯公民的隱私，在美國國會不斷受阻，但美國國防部卻屢次變換名目、暗中推動項目進展。這段歷史，堪稱2013年“斯諾登事件”的前傳，因為後來大面積曝光，最終震驚世界。
西方不亮東方亮。這期間，新加坡的國防部長PeterHo在美國訪問，他獲知萬維資訊觸角計畫之後，大為讚賞。不久後，該計畫在美國觸礁流產，波因德克斯特被迫辭職，新加坡卻重金引進了這個項目組的一批人員，並聘波因德克斯特為國防部顧問，視為上賓。在波因德克斯特的指導下，新加坡快速建立了一套萬維資訊觸角，命名為“風險評估和全景掃描”（RAHS）。
RAHS最初的目的，是通過全社會的資料聯通和挖掘，在錯綜複雜的社會現象中發現恐怖襲擊、流行病疫情等突發事件的“信號”，達到未雨綢繆、有效治理的目的。之後，由於行之有效，新加坡政府將系統不斷擴大，推廣到經濟、文化、社會管理的種種領域。房屋管理局用它來瞭解人們對於住房體系的批評和期待，人口部門通過它掌握大眾的生育態度變化，旅遊部門用它來預測各地遊客數量的週期，食品部門通過它決策是否應該減少對進口食品的依賴等等。從這個角度說，新加坡是資料治國的一個實驗室，它不僅將大資料用於情報和反恐，還用於構建和諧社會。
在中國，特別要強調的是，資料治國不是“數位治國”。一些官員一談起轄區人口面積、GDP增長幅度、專案投資多少、惠及領域若干、利稅增加幾何都有“數”在胸，還特別喜歡用“三項原則”、“五個重點”、“八項規定”等等數位範式對工作進行總結，各項工作的考核也都與資料掛鉤，大有唯“資料”盛行之勢。這不是不好，但這些都是孤立的、靜態的數位，並不是“資料治國”的真義。大資料時代，資料治國更關注的是動態的資料、系統化的資料，以不間斷“流”的形式存在的、成片的、活的資料，它們應該成為公共決策的資源為政府和社會所廣泛使用。歸根結底，公共決策最重要的依據將是系統的、成片的、動態的資料流程，而不是個人經驗或長官意志，過去深入群眾、實地考察的工作方法雖仍然有效，但對社會治理而言，系統採集的資料、科學分析的結果更為重要。
我認為，資料不僅可以治國，還可以強國。其中的原因，是因為資料正在成為各行各業最重要的創新資源。
以農業為例，來自天氣、土壤和農作物的資料，可以實現自動化的灌溉、防治蟲災、決定如何種植和收割、節省水利資源、提高單位產量；在教育領域，以大資料為基礎的線上智慧學習平臺（MOOC），可以突破教室的限制，讓成千上萬的學生同時得到個性化的教學和輔導；再以醫療領域為例，IBM公司的Watson系統可以快速地檢索幾百萬名患者的病例、最新的醫療研究報告和成果，做出更快、更準確的診斷；工業領域更不待言，汽車、飛機正在被大資料改造，成為無人駕駛汽車、無人駕駛飛機；還有金融領域，利用電商平臺的交易資料，“阿裡小貸”可以在幾分鐘之內判斷企業的信用，為近百萬小微企業發放貸款。今年年初，阿裡巴巴又推出了基於個體消費者的“芝麻信用”，用的創新資源還是資料。一百年前的美國，用了幾十年的時間才建立全民信用體系。因為擁有無處不在的充沛資料，今天中國的全民信用體系可能在更短的時間內、以更低的成本就可以建立起來。
毫不誇張地說，基於資料的創新將帶動人類社會的各個領域都實現巨大的飛躍，這種飛躍是前人難以想像的。今天的年輕人面臨的創新機會要遠遠多於前幾代人，因為他們擁有人類有史以來最偉大的創新資源：數據。
和其他的創新資源相比，資料之所以偉大，是因為它不會被它所激發的思想和創新所消耗，它可以重複使用，可以同時被無數人使用，此資料和彼資料整合，還可以產生新的價值和效用。在空間的拓展中和時間的延伸中，資料的能量將在人類社會層層放大，資料的不斷積累是資源和知識的持續增加。
但要成就資料的“偉大”，還有個前提，這就是資料的開放。正是出於這個原因，本書用了相當的篇幅來討論“開放資料”。
對於“開放資料”，中國社會目前還存在不少誤解。一是將開放等同于公開，其實開放和公開是兩個完全不同的概念。公開是資訊層面的，是一條一條的；開放是資料庫資源層面的，是一片一片的。開放資料，指的是將原始的資料及其相關的中繼資料以可以下載的電子格式讓協力廠商自由使用。開放也不一定代表免費，因為開放是有成本的，企業可以以收費的形式開放資料。開放也可以有層次、有範圍，針對某個特定的組織和群體開放，不一定面對全體社會大眾。
開放資料之於當下中國社會的意義，在於推動知識經濟和網路經濟的發展，在於促進中國經濟由粗放向精細、從“製造”向“創造”的轉型升級，在於釋放社會生產力、催生創新。通過開放更多的資料，讓創新的資源自由地流動，李克強總理提出的“大眾創業，萬眾創新”才能更快、更好地在中國大地形成燎原之勢。
大眾創新、創業的趨勢，也可以在美國社會的發展過程中觀察到。根據美國科學基金會（NSF）的資料，1981年，大公司（超過25000人）的研發投入占全美研發投入的70%，可謂主導了美國的創新；到2007年，大公司的研發投入仍然在上升，但格局卻發生了改變，儘管絕對數量增長了4倍，其占全美研發投入的比例卻下降到35%。同期，1000人以下小公司的研發投入增長了50倍，其占全美的比例從1981年的4%上升到2007年的24%。這些資料表明，研發和創新呈現分散化，在向小公司和個人轉移，其中最根本的原因，就是知識、資訊特別是資料資源的深度開放，不再受大公司、大組織的壟斷，不再是精英階層的專利。
文化靠沉澱，文明靠創新。創新，才是一個國家持續發展、不斷邁向強大的真正動力。今天的中國，創新已經成為共識。就此而言，資料強國我們正在路上。
記得《大數據》首版上市，是2012年7月。當時我在美國，半年多之後，美國才出版了第一本有影響力的專著《大資料時代》，比中國晚了整整半年。撫今追昔，我感歎不已，新的思想和觀念在全球自由地流動，在奔湧的浪潮之中，我也從美國矽谷回到了中國的杭州。
除了增補自序、重要的專欄文章以及我在第一屆世界互聯網大會上的演講等，本版還增加了索引。一本好書不能沒有索引，這是我一直的觀點。幾經曲折，《大資料》第三版終於加上了索引，除了出版社的支援，還要感謝馮啟娜、趙瀚林、陳競芬等志願者，因為他們的協助，這個心願得以達成。
 
塗子沛
2015年3月22日於杭州

第三版自序 資料可以治國，還可以強國
序言一 大數據：為華文世界提出一個重要話題/許倬雲
序言二 中國的雄心應該拓展到大資料領域/達文波特
 
【序幕】新總統的第一天
一人一票：把“黑”人送進“白”宮
大國新政：陽光是最好的防腐劑
 
【上篇】帝國風雲：得資料者得天下——美國的成功經驗
第一章 歷史爭戰《資訊自由法》
1-1.第四股力量：知情權的起點
1-2.國會議員：孤獨的戰爭
1-3.白宮當家人：一個妥協者和機動者
1-4.政府VS. 社會：舊劇情重現新時代
 
第二章 資料帝國的興起
2-1.摩爾定律：全世界半個世紀的發展規律
2-2.最小資料集：上升到立法高度的開路先鋒
2-3.民意幾時有：選票催生的創新
2-4.普適計算：電腦本身將從人們的視線中消失
2-5.“大資料”戰略：爭奪全世界的下一個前沿
 
第三章 資料治國
3-1.循“數”管理：平安大道怎樣鋪
3-2.數據“驗”平權：民權史上的碑石
3-3.數據“打”假：最大的爭議就是福利濫用
3-4.CompStat：街頭員警的創新傳奇
 
第四章 商務智能的前世今生
4-1.起源：從資料到知識的挑戰和跨越
4-2.結蛹：資料倉庫之厚積薄發
4-3.蠶動：連線分析之驚豔
4-4.破繭：資料採擷之智能生命的產生
4-5.化蝶：數據視覺化的華麗上演
 
【中篇】法則博弈：大資料時代的發展與危機
第五章 帝國的法則
5-1.收集法則：減負，為人民減負
5-2.使用法則：隱私，文明社會的共識
5-3.發佈法則：免費，人民已經交稅
5-4.管理法則：品質，互聯網時代的根本
 
第六章 《資料品質法》的困局
6-1.產業界“俘虜”政府：資料背後的政經戰爭
6-2.美式“旋轉門”：權、名、利大串場
6-3.“摻沙子”法案：國會對付總統的獨門秘器
6-4.環保“風險門”：公共利益常常無人代表
6-5.集體行動的邏輯：人人都想“搭便車”
6-6.三權之歧：什麼是真正的“和諧”
 
第七章 全國隱私風波
7-1.《一九八四》：零隱私的恐懼
7-2.大資料就是“老大哥”：中央資料銀行之爭
7-3.百年糾結：統一身份證
7-4.“9•11”大拐點：以反恐的名義向左轉
7-5.萬維資訊觸角計畫：追蹤恐怖分子的“資料腳印”
7-6.6種改變政府的力量：山姆大叔大退讓
 
【下篇】公民故事：公民社會與資料互動之雙贏時代
第八章 資料開放運動
8-1.一個新的世界：從軟體開源到資料開放
8-2.總統的雄心：公共財政支出透明
8-3.數據民主：印裔首席信息官的崛起
8-4.Data.Gov：從旗艦初航到保“數”運動
8-5.大眾創新：航班延誤之候機經濟學
 
第九章 試金石：白宮訪客記錄
9-1.總統在見誰：大醫改中的“小”插曲
9-2.全體美國人的房子：白宮
9-3.步步妥協：總統與草根的對決
9-4.從白宮安保到政治監督：執著的公民改變世界
 
第十章 礦難中的歌聲和資料
10-1.集體行動的號角：你站在哪一邊
10-2.可以避免的悲劇：資料揭示的全景式真相
10-3.默認公開推定：和礦難賽跑的原則
10-4.唯一的道路：民主時時都要“爭”
 
【外篇】天下趨勢：大資料社會未來之世界走向
第十一章 大趨勢
11-1.數據權：大不列顛的碩果
11-2.大合流: 國際開放聯盟
11-3.雲計算：新的航向
11-4.再造互聯網：從網頁相連到數據相“聯”
 
第十二章 大挑戰
12-1.逐鹿政壇：得數據者得天下
12-2.數據競爭：企業贏之道
12-3.下一波浪潮：從大資料到大社會
 
第十三章 大變革（2.0升級版新增）
13-1.微學位：教育領域正在發生的革命
13-2.大數據：再談教育領域正在發生的革命
13-3.微學校：三談教育領域正在發生的革命
 
尾聲 挑戰中國：摘下“差不多先生”的文化標籤
大事記 20世紀大蕭條後美國資訊開放、技術創新之路
後記 搭建“大資料”的世界
建言 中國如何應對大資料時代的挑戰（升級增補）
訪談 大資料時代的“中國夢”（升級增補）
演講 大資料、大計算：新經濟的土壤（升級增補）
專題 什麼是“資料的外部性”？（升級增補）
索引 （升級增補）

【“大資料”戰略：爭奪全世界的下一個前沿】
聯邦政府的每一個機構和部門，都需要制定一個應對“大資料”的戰略。
——《規劃數位化的未來：美國總統科學技術顧問委員會給總統和國會的報告》2010年
 
業務工作的管理資料，民意社情的調查資料，以及對大自然、動植物的特點和變化進行監控而產生的環境資料，是聯邦政府的三大資料來源。這三種資料，其發展各有先後，收集方式各不相同，資料量也大小不一。它們之間，存在著一些交叉和重疊，有一些民意調查的資料，是業務資料，而一些因環境監控產生的資料，也可以是業務工作的資料。
由於無線感測器的快速普及，環境資料增長得最快，成為聯邦政府資料量最大的來源。
雖然環境資料增長得最快，但這三種資料，其實都在爆炸。這種爆炸，並不僅僅是數量一個維度的。2001年，著名的高德納諮詢公司（Gartner）在一份研究報告21中指出，資料的爆炸是“三維的”、是立體的，這三個維度，主要表現在以下三個方面：
一是同一類型的資料量在快速增大；
二是資料增長的速度在加快；
三是資料的多樣性，即新的資料來源和新的資料種類在不斷增加。
資料的爆炸性增長，也不僅僅限於聯邦政府。如前文所述，2011年麥肯錫公司在其研究報告《大資料：下一個創新、競爭和生產率的前沿》中指出，在美國，僅僅製造行業就擁有比美國政府還多一倍的資料，此外，新聞業、銀行業、醫療業、投資業、零售業都擁有可以和美國政府相提並論的海量資料。
哈爾•范裡安（HalVarian）是穀歌的首席經濟學家，也是美國研究資訊經濟學的著名學者。2000年，他對資料和資訊產生的速度進行了研究，他認為，人類社會每年產生的信息量，實在太大了，已經沒辦法用準確的方法來計算現有的數位資訊總量，只能估算。他估計2000年新產生的資料量為1000拍到2000拍。但到2010年，僅僅全球企業一年新存儲的資料量就超過了7000拍，而全球消費者新存儲的資料量約為6000拍。
這種資料量的增長，已經大大超出了人類的預期和想像。時至今日，資料已經像“洪流”一樣，在全球的政治、經濟生活當中奔騰。而且，隨著資訊技術的普及和進步，新的支流還在不斷產生，各個支流流動、交匯和整合的速度，還在繼續加快。
作為美國社會的資訊樞紐，聯邦政府當然要正面迎對這個挑戰。
2010年12月，總統行政辦公室下屬的科學技術顧問委員會（PCAST）、資訊技術顧問委員會（PITAC）向奧巴馬和國會提交了《規劃數位化未來》的專門報告，該報告把資料收集和使用的工作，提到了戰略的高度。
這個報告列舉了5個貫穿各個科技領域的共同挑戰，報告指出“每一個挑戰都至關重要”，而第一個挑戰就是“資料”問題。報告說：
“如何收集、保存、維護、管理、分析、共用正在呈指數級增長的資料是我們必須面對的一個重要挑戰。從網路攝像頭、博客、天文望遠鏡到超級電腦的模擬，來自於不同管道的資料以不同的形式如潮水一般向我們湧來。這些資料以不同的格式存儲在不同的環境中，有的在電腦的硬碟裡，有的在資料倉庫之內。
如何保證這些資料現在、將來的完整性和可用性，我們面臨著很多的問題和挑戰。如何使用這些資料，則是另外一個挑戰……應對好這些挑戰，將引導我們在科研、醫療、商業和國家安全方面開創新的成功。”
在報告中，兩個委員會還例舉了美國癌症研究所以及中央情報局如何通過收集海量資料、建立資料倉庫、實施以資料採擷為核心的自動分析技術，獲得了出人意料的創新和成功。
委員會一致認為，如何有效地利用資料將貫穿所有科技領域的挑戰。最後，兩個委員會向奧巴馬建議：聯邦政府的每一個機構和部門，都需要制定一個“大資料”的戰略。
其實，“大資料”這個名詞並不新鮮，早在1980年代，美國就有人提出了“大資料”的概念。20多年來，各個領域的資料量都在迅猛增長，美國的企業界、學術界也不斷地對這個現象及其意義進行探討，“大資料”這個名詞變得越來越流行、越來越重要，最後成為了國家和政府層面的發展戰略。
之所以要稱之為戰略，是因為“大資料”之“大”，並不僅僅在於其“容量之大”。當然，由於資料容量的爆炸，資料的收集、保存、維護以及共用等等任務，都成為具有研究意義的現象和挑戰。但“大資料”之“大”，更多的意義在於：人類可以“分析和使用”的資料在大量增加，通過這些資料的交換、整合和分析，人類可以發現新的知識，創造新的價值，帶來“大知識”、“大科技”、“大利潤”和“大發展”。
如前文所述，資料，是記錄資訊的載體，是知識的來源。資料的激增，意味著人類的記錄範圍、測量範圍和分析範圍在不斷擴大，知識的邊界在不斷延伸。
2007年，雅虎的首席科學家沃茨博士在《自然》上發表了一篇文章《21世紀的科學》22，他發現，得益於電腦技術和海量資料庫的發展，個人在真實世界的活動得到了前所未有的記錄，這種記錄的細微性23很高，頻度在不斷增加，為社會科學的定量分析提供了極為豐富的資料。由於能測得更准、計算得更加精確，他認為，社會科學將脫下“准科學”的外衣，在21世紀全面邁進科學的殿堂。例如，新聞的跟帖、網站的下載記錄、社交平臺的互動記錄等等都為政治行為的研究提供了大量的資料，政治學這門古老的學科，將登堂入室，成為地道的“科學”。
麻省理工學院的教授布倫喬爾森（Erik Brynjolfsson）則比喻說，大資料的影響，就像4個世紀之前人類發明的顯微鏡一樣。顯微鏡把人類對自然界的觀察和測量水準推進到了“細胞”的級別，給人類社會帶來了歷史性的進步和革命。24 而大資料，將成為我們下一個觀察人類自身社會行為的“顯微鏡”和監測大自然的“儀錶盤”。
這個新的顯微鏡，將再一次擴大人類科學的範圍，推動人類知識的增長，引領新的經濟繁榮。麥肯錫全球研究所在其2011年的報告中最後概括說：大資料，將成為全世界下一個創新、競爭和生產率提高的前沿。
搶佔這個前沿，無異於搶佔下一個時代的“石油”和“金礦”。
2012年3月29日，奧巴馬政府又進一步推進了其“大資料”戰略。奧巴馬的高級顧問、總統科學技術顧問委員會（PCAST）的主席霍爾德倫（John Holdren）代表國防部、能源部等6個聯邦政府部門宣佈，將投入2億多美元立即啟動“大資料發展研究計畫”（Big Data Research and Development Initiative），以推動大資料的提取、存儲、分析、共用和視覺化。霍爾德倫也是哈佛大學甘迺迪政府學院的知名教授，他在講話中表示：像美國歷史上對超級計算和互聯網的投資一樣，這個大資料發展研究計畫將對美國的創新、科研、教育和國防產生深遠的影響。
奧巴馬則強調聯邦政府必須和公司、大學結盟，全民動員（All Hands on Deck），來應對“大數據”時代的挑戰。
 
【大挑戰——逐鹿政壇：得數據者得天下】
“政治技術決定政治成敗。“——莫頓•布萊克韋爾，美國政治活動家
2011年4月4日，奧巴馬以電子郵件和視頻的方式，正式宣佈自己將參加2012年的總統競選、爭取連任。
4年多以前，2007年2月，他在廣場上的人潮中宣佈了自己將參選總統的決定。作為代表伊利諾州的聯邦參議員，他選擇了位於該州首府的議會廣場作為集會地點，這裡曾經是林肯總統發表演講的地方。奧巴馬在凜冽的寒風中，面對沸騰的人群和高聲喝彩，發表了近一個小時的演講，隨後開始了他長達一年多的大選征程。
但這一次，沒有簇擁的集會、鼓動的口號和大幅的標牌，一切都由網上的點擊，在瞬間平靜地完成。
另外幾位熱門人選，如前麻省州長羅姆尼（Mitt Romney）、前眾議院議長金裡奇（NewtGingrich）也先後用推特（Twitter）和臉譜（Facebook）正式宣佈了他們的參選意願。
而通過集會拉開競選的序幕，原本是美國上百年的政治傳統。
有評論說，這表明，臉譜、推特和視頻分享網站的發展已經深刻地改變了美國的政治生態，新的傳統正在形成。還有評論指出，這次總統大選，是民主、共和兩黨都充分認識到社交網站重要性之後的第一次大選，技術對政治的作用將前所未有地凸顯。
回顧歷史，從上個世紀30年代的廣播，到60年代的電視，再到本世紀初的互聯網，技術一直在美國的政治生活中扮演重要的角色，甚至決定選舉的成敗。
互聯網出現之後，就交流和互動而言，廣播和電視無疑相形見絀。和它們相比，網路能提供一種沒有強權的、多中心的、雙向的甚至多向的資訊交流方式，這一改廣播、電視單向交流的不足，使候選人和選民之間的互動方式發生了深刻的改變。
如果說2008年的大選，是一場關於網路技術“用多”還是“用少”的較量，那麼2012年的競爭，工具本身已經不再是競爭的優勢。因為，近4年來，民主、共和兩黨都鼓勵本党的政治家把網路作為必爭之地，網路的重要作用已經得到了政治家的一致重視。共和黨曾經發起“新媒體挑戰”（New Media Challenge）的競賽活動，以網路上粉絲的增長速度為衡量標準，鼓勵黨員集聚網路人氣。比賽進行了一個半月，最後來自路易斯安那州的眾議員佛蘭芒（John Fleming）奪得了第一名。民主黨當然不甘落後，也舉辦了類似的“線上政治明星”評比活動。
也就是說，兩黨的主要競爭者都在大規模地使用網路。競爭的重點已經不是“用不用”的問題，而是“如何用”、“用得好不好、巧不巧”。
互聯網在政治競選中的主要功能有兩個，一是交流，候選人通過它和選民展開個性化的即時對話、收集採納民意，並為自己的政治主張尋找支持；二是動員，通過它發動草根力量，完成召集志願者、募款、造勢等關鍵的選舉活動。
當前，誰能把網路交流和動員這兩個功能發揮得更好、運用到極致，其競爭的核心和重點，就是資料。
可以說，這是一場資料競爭。資料收集、分析和整合的能力已經成為技術和網路競爭的關鍵所在。
2008年，奧巴馬通過他的個人競選網站（Barackobama.com）收集了1300萬人的個人資訊和郵寄地址，這曾經是他在交流規模上無可比擬的優勢。但和2008年相比，如今的臉譜等社交網站已經不僅僅是個交流平臺，還是一個記錄了8億人資料的開放“資訊港”，協力廠商可以在上面開發新的應用並與其現有的資料直接相聯，這為其他候選人提供了超越奧巴馬的可能性。
奧巴馬在宣佈再參選以後，立即重新改版了他的個人網站。支持者一登錄，便被要求提交其社交網站的帳號，並詢問是否能夠讀取其在社交網站上的檔案資訊，甚至索要在使用者社交網頁上發佈消息的授權。這些舉措，招招式式都是為了獲取更多、更翔實完備的選民資料。
其他候選人當然也不甘落後，幾乎每個候選人都先後推出了自己的網站，個別候選人甚至不惜重金，用送出紀念品的形式來鼓勵選民把自己的帳號和社交網站的帳號掛鉤相連，其目的都是為了擴展自己的資料容量，擴大未來與選民交流的規模。
與交流規模相比，交流的品質更為重要。大規模發送資訊並不難，但只有撓到接收方癢處和痛處的資訊才可能引起真正的關注。這就要求發送方必須瞭解資訊受眾，而不是簡單地“群發”。這個方面，奧巴馬已經有教訓和體會。2011年7月29日，美國國會在為是否提高國家債務的上限進行激辯。奧巴馬一天內連接發出十多個推特（微博），要求他的粉絲採取行動、給議員施壓，催促他們通過提高債務上限的提案。但當天晚上，奧巴馬的推特就流失了33000多名粉絲。奧巴馬的技術團隊隨後對此進行了調查，發現其中的原因，正是很多人對這個話題不感興趣，認為“總統在給他們發送資訊垃圾”。
奧巴馬的團隊正在全力提高資料細分的能力。例如，墮胎問題一直是兩黨辯論的熱點，奧巴馬如果能在辯論之時，鎖定35歲以下的女性進行資訊交流，就可能形成穩定的觀點聯盟，造成聲勢。又比如，一談到養老金問題，50歲以上的老人將成為第一目標群體。
除了性別、年齡之外，選民還可以按地域、種族、教育程度、宗教信仰等其他維度來劃分，這些維度，還可以交叉，交叉分析的維度越多，資訊受眾就能分得越細、瞄得越准，資訊交流的效率也就越高。此外，除了資料的細分，還可以通過資料模型預測不同選民的不同需要和行為模式，最終把個性化的短信和視頻通過互聯網或手機送達特定的群體。
除了交流，成功的動員也離不開有效的資料支援。研究表明，選舉動員的重點是爭取“牆頭草”或“中間派”，最有效的方式是派出志願者上門遊說，這可能將選票拉升幾個百分點，在勢均力敵的情況下，成為勝出的關鍵。如果能掌握這類“中間派”人士的基本資訊甚至個人喜好，志願者的登門遊說就能有的放矢、事半功倍。所以如何在網上確定這個群體、獲取他們的資料，是決定動員效率的一個關鍵。
此外，通過不同資料庫之間的分析和整合，為畢業於同一個學校、居住在同一個地區甚至擁有同一個愛好或觀點的志願者建立新的網路聯繫體，讓支持者感覺同聲同氣、彼此相連，也能極大提高動員的效率和士氣。
圍繞資料細分的這些精細化的應用，可謂多不勝數。這種基於資料的選民細分方法，也被稱為“納米定位”（Nanotargeting） 。
當然，奧巴馬能否最終當選，還取決於政治、經濟、社會等等諸多方面的因素，但如果僅僅從技術層面來考慮，這一仗爭的是資料，比的是資料收集、分析以及整合的能力。從這個意義上來說，得資料者得天下。這種基於資料的競爭，當然不僅僅局限在政治選舉的領域。其實，早在2008年奧巴馬當選總統之前，商業領域的資料競爭現象就引起了學界的研究和關注。
 
【大資料就是“老大哥”：中央資料銀行之爭】
“我們有很多小的、獨立的資訊記錄系統。這些系統，就單個而言，它們可能無關痛癢，甚至是很有用的、完全合理的。但一旦把它們通過自動化的技術整合連接起來，它們就會漸漸蠶食我們的個人自由。這才是真正的危險。”
——美國隱私研究委員會，1977年
1965年，人類的計算模式還僅僅處在第一個階段——主機時代，這種危險和擔心就開始初現端倪。
那個時候，現在白宮的行政管理預算局（OMB）還叫預算局。
預算局提出了一個簡單、大膽、在當時堪稱革命性的創新計畫。
該局建議，聯邦政府應該成立一個統一的“資料中心”，把政府部門所有的資料庫連接、集中、整合起來，建立一個大型的資料庫。預算局相信，這不僅能節約硬體成本，還能提高資料管理、查詢和統計的效率；此外，通過部門之間的資料對接和整合，還可以提高資料的準確性和一致性，減少資料的錯誤。
預算局甚至為這個計畫提出了具體的實施方案：人口普查局、勞工統計局、稅務局以及社保局等4個資料密集型部門先行一步，首先將資料庫連接起來，其他各個部門的資料庫逐步納入，最終的目標是，以公民為單位，為全國每一個人建立一個資料檔案，這個檔案將包括每一個人教育、醫療、福利、犯罪和納稅等等一切從搖籃到墳墓的資料記錄。
預算局將這個大型資料庫稱為“中央資料銀行”。
普林斯頓大學的高等研究院（IAS）是全世界最頂尖的研究機構之一，它的特點，是可以不屈從任何行政的任務和資金的壓力，自主開展純粹的科學研究。時任該研究院主任的是凱森教授（Carl Kaysen），他盛讚這是一個劃時代的計畫。凱森發表了專門的可行性報告，指出統一管理不僅能節省運營成本、提高資料的準確性和查詢的效率，還將更好地保障資料安全。
聽起來有百利而無一弊，中央資料銀行的計畫得到了行政圈、學術界的一致回應。
經過一年的論證，1966年，聯邦政府正式向國會提交了“中央資料銀行”的方案，請求撥款、開工，開創新的資料管理篇章。
新聞界也開始報導聯邦政府的這個創舉。
但沒想到，新聞界的報導引起了強烈的社會反彈。這種反彈，最後導致了這個計畫的流產。
1967年1月，《紐約時報》發表了著名記者、隱私權專家帕卡德（Vance Packard）的文章《不能告訴電腦》，他寫道：
“當政府把我們每一個人的資訊和日常生活的細節都裝進一個中央級的資料銀行，我們將受控於坐在電腦機器前面的那個人和他的按鈕。這令人不安，這是一種危險。”
美國公民自由聯盟（ACLU）是一個成立於1920年、位於紐約的公益組織，它的目標是利用法律的手段維護公民的權利，隱私權正是ACLU關心的重點。對於中央資料銀行的計畫，ACLU強烈反對，並發表了一系列的聲明和調查。
哈佛大學也對這個計畫開展了專門的民調，其調查的結果表明，56%的美國人擔心自己的隱私會受到侵害，明確反對這個計畫。
一時間，曾經贏得了各方讚譽的資料銀行計畫在國會的討論中陷入了泥沼。
此後，美國國會對此召開了一系列的聽證會。1968年，眾議院隱私委員會發佈了一份報告，作出結論說，該計畫無法保證公民的隱私不會受到侵害，不予批准。
但這只是一個中斷，甚至僅僅只是一個開始。此後的幾十年，隨著資料庫越來越多，類似於“中央資料銀行”的計畫不斷改頭換面，在國會發起衝刺。美國各界對其的討論也從來沒有間斷過，並形成了涇渭分明的兩派。
支持的一派以經濟學家和技術專家為主，這個陣營認為，現代經濟依賴於大規模的資料整合和交換，統一集成的中央資料庫，將提高經濟效率，方便大眾的生活，是現代社會發展的必然，是社會進步的不二選擇。
反對方自然是隱私至上的信奉者。他們認為，在資訊時代，無論是個人的日常消費等瑣碎小事，還是事關健康、教育的重大決策，都會在各種各樣的資訊系統當中留下“資料腳印”。這些“資料腳印”，保存在不同的系統中，可能無傷大雅。但如果建立起中央資料銀行，通過資料整合和資訊加總，就可以再現一個人生活的軌跡和全景，各個系統之間的資料可以彼此印證、互相解釋，個人隱私就無所遁形。
隱私學學者認為，這種資訊加總和資料整合，無異於一種監控，準確地說，是一種“資料監控”（Dataveillance），其對個人隱私權的侵害，無異於《一九八四》中的電幕。進入大資料時代之後，甚至有專家提出：大資料就是老大哥！（Big Data is Big Brother）
 
【大變革——之“微學位：教育領域正在發生的革命”】
這個月初，哈佛大學與麻省理工大學共同宣佈，將投入6000萬美元，開發一個線上教育平臺。屆時，不僅兩個學校的授課過程免費向全世界開放，這個平臺本身，也以開源的形式，向其他大學和教育機構免費開放。
而幾個月以前，斯坦福大學已經把“線上教育”變成了矽谷最熱門的話題。其電腦系的Ng教授，把自己的一門課放到了互聯網上，結果全球有十幾萬人註冊，這些人，除了在網上聽他的即時講授，還和斯坦福大學的在校生做同樣的作業、接受同樣的評分和考試。最後，有幾千人完成了這門課程。Ng教授看到了其中的商機，在矽谷拉到了1000多萬的投資，成立了線上教育公司Coursera。更早一些，谷歌無人駕駛汽車的發明者、大名鼎鼎的斯坦福教授Thrun，也離職創辦了一家線上教育網站Udacity。隨著類似的公司如雨後春筍般冒出，普林斯頓大學、加州大學伯克利分校、賓夕法尼亞大學等等知名學府都在近期宣佈加盟線上教育，逐步向全世界開放自己的課程。
當然，這也不是大學的專利。我所在的賓夕法尼亞州，從小學到高中，都建立了線上學校，選擇參加線上學習的學生，可以免費獲得州政府配發的一台筆記型電腦、一台印表機和掃描器，作為學習的工具。這是因為他放棄了公立學校的學位，節省了公共教育的開支。目前，賓州的線上學校Cyber School，已經招收了幾千名中小學生。
之所以獲得教育界和投資界的一致青睞，是因為現在的線上教育，已經不僅僅是一個鏡頭、一段遠端錄相這麼簡單，而增加了“互動”、“互助”、“行為評價和誘導”等等新的技術和色彩。例如，師生可以隨時對話，電腦能夠記錄你在一張幻燈片上停留的時間，判別你在答錯一道題之後有沒有回頭複習，統計你在網上提問的次數、參與討論的多少，然後在這個基礎上，對你的學習行為進行誘導和評價。此外，學習者還可以結成互助小組，甚至互相批改、評價對方的作業和報告。哈佛大學和麻省理工學院的新網站還宣佈，對於完成一門課程的學生，只要繳納極少的費用，就可以獲得一個認證，這個認證並不是真正的學位。在這個新生事物層出不窮的時代，我們不妨稱之為“微學位”。
“微學位”等新概念、新技術的出現，我認為，將給教育領域帶來一場革命。它的影響，不僅立竿見影，而且相當深遠，會波及整個社會。
1946年，人類發明第一台電子電腦。如果以此為起點，那人類社會進入資訊時代已經有半個多世紀。資訊時代的特點是資訊流動的速度加快、傳播的廣度加大，資訊垂手可得、無處不在。但資訊不是知識，資訊必須經過加工、組織、整理才能成為知識，即將到來的線上教育浪潮，把系統整理的知識以課程為載體推上了互聯網，這將説明我們在資訊時代的基礎上再邁進一步，進入真正的知識時代。知識時代的最大特點，是知識無所不在、隨處可得。
學校，曾經是最重要的教育資源，好的學校，更是稀缺性的資源。由於線上教育的普及，在不遠的將來，名校將人人可上，教育資源匱乏的問題將得到緩解。但線上教育對個人的重大意義，還不僅僅是教育機會的增加，更是學習方式的改變。在傳統的學校，我們是接受教育，但在網路學校，人人都可以各取所需，隨時隨地、按照自己的節奏和計畫來開展學習。例如，高中生可以嘗試體驗大學的課程，離開了校園的人，也可以登陸線上空間，再和在校生一起聽課。通過線上教育，學習可以成為一個高度個性化的主動建構過程，終身教育也將成為普遍的現實。更多更好的教育資源、主動學習、終身教育，這些都是教育工作者探討多年、孜孜以求的夢想。
線上教育引發的不僅僅是個人學習的革命，更會改變整個教育行業的生態。其影響大小，一時難下定論，我們不妨通過多問幾個問題來催生自己的想像。以大學為例，通過把課程變成一種網路服務，而且公開競爭，越來越產品化，大學作為一個知識傳播中心的作用是不是可以發揮得更好？此外，線上教育可以幫助大學突破圍牆和座位的限制，名牌大學會不會因此更受追捧、其品牌效應會不會更加突出？還有，一流的大學不懼把自己的課程推上網和全世界的學習者共用，是不是因為它們還有更核心的競爭力？這個競爭力又是什麼呢？是不是“創新”？順著這個思路去想，不難得出結論：真實世界的大學會把更多的時間和精力傾斜到新知識的發現和生產上，而線上教育將承擔更多的知識傳播功能。
再有，學生和學校的關係是不是也會發生變化？過去，是學生爭學校；將來，學校搶學生的現象可能會更加突出。一流的大學將成為一個創新型人才的集聚地，普通的大學可能要通過更好的行政管理和服務來吸引學生。再設想，如果你是用人單位，面對一名持有名牌大學“微學位”的候選人和一名三流大學的畢業生，你最後會雇用誰？“微學位”的產生，會不會引起教育行業一種新的競爭、重新佈局、甚至洗牌？
哈佛大學線上教育的負責人認為，目前這場線上教育的浪潮，是印刷術發明之後，教育領域面臨的最重大的變革。對中國的教育領域而言，如何合理規劃、用好資源，是挑戰，但更是福音，這值得我們全社會、特別是教育部的官員、教育一線的工作者以及企業家的思考、研究和關注。
 
【建言：中國如何應對大資料時代的挑戰】
（四） 政府需要做什麼？
一是政府機構、行業組織和大型企業要建立專門的資料治理機構來統籌資料治理的工作，例如資料治理委員會、大資料管理局等，資料治理的重點在於資料定義的一致性和資料的品質。在大資料時代，不同系統之間的資料要進行整合，因此要有統一的中繼資料定義，這不僅是中國而且是全世界當下都在面臨的挑戰。各個領域和行業的資料標準制定得好，將會起到事半功倍的效果。就單個企業而言，要認識到，未來的競爭是知識生產率而不是勞動生產率的競爭，資料分析產生的價值可能比較碎片化，分佈在商業流程的各個環節，資料採擷的投資回報也有不確定性，但企業領導必須有眼光，把資料治理的工作儘快統籌起來，為增強企業在大資料時代的競爭力做好準備。此外，資料治理機構的首長應該由組織的高層領導擔任，否則標準無法推進到全域，也改善不了整個行業或組織的情況。
二是開放數據。資料增值的關鍵在於整合，但自由整合的前提是資料的開放。開放資料是指將原始的資料及其相關中繼資料以可以下載的電子格式放在互聯網上，讓其他方自由使用。開放資料和公開資料是兩個不同的概念，公開是資訊層面的，是一條一條的；開放是資料庫層面的，是一片一片的。開放也不一定代表免費，企業的資料，可以以收費的形式開放。開放也是有層次的，可以對某個群體、某個組織，也可以對整個社會開放。在大資料的時代，開放資料的意義，不僅僅是滿足公民的知情權，更在於讓大資料時代最重要的生產資料資料自由地流動起來，以催生創新，推動知識經濟和網路經濟的發展，促進中國的經濟增長由粗放型向精細型轉型升級。
三是鼓勵、扶持基於資料的創新和創業。政策扶持的傳統方法，可能是以政府為主導建立大資料產業園，對新興企業提供辦公場所等便利條件或者現金支援，這固然有效，但更有效的方式是調動全社會的力量。例如，撥款支援大資料開源社區、程式師協會等民間組織的建設，通過扶持類似的民間團體，快速推進新技術、新理念在全社會的傳播和普及；再例如，以開放的資料為基礎，舉辦應用程式開發大賽，向全社會徵詢資料使用、創新的意見，主辦方可以是政府，也可以是企業，拿出一定的資金，獎勵最優秀的應用程式，激發民間蘊藏的創新力量。
四是要在全社會弘揚數據文化。資料文化，是尊重事實、推崇理性、強調精確的文化。要承認，回望歷史，中國是個資料文化匱乏的國家，就現狀而言，中國資料的公信力弱、品質低，資料定義的一致性差也是不爭的事實。這方面，政府應該發揮主導作用，首先在公共領域推行資料治國的理念，要認識到，在大資料時代，公共決策最重要的依據將是系統的資料，而不是個人經驗和長官意志，過去深入群眾、實地考察的工作方法儘管仍然有效，但對決策而言，系統採集的資料、科學分析的結果更為重要。政府應加大資料治國的輿論宣傳，將資料的知識納入公務員的常規培訓體系，力爭在全社會形成“用資料來說話、用資料來管理、用資料來決策、用資料來創新”的文化氛圍和時代特點。
最後是要圍繞個人資料安全，逐步加強隱私立法。任何技術都是雙刃劍，大資料也不例外。如何在推動資料開放的同時有效地保護公民隱私，將是大資料時代的一個重大挑戰。
新年剛剛拉開序幕，希望中國政府相關部門儘快制定與大資料相關的政策，出臺具體的措施，從而抓住歷史的機遇、推動中國社會的發展和進步。
2013年，應該成為中國的大資料年。