Hadoop實戰（簡體書）

作為云計算所青睞的分布式架構，Hadoop是一個用Java語言實現的軟件框架，在由大量計算機組成的集群中運行海量數據的分布式計算，是谷歌實現云計算的重要基石。《Hadoop實戰》分為3個部分，深入淺出地介紹了Hadoop框架、編寫和運行Hadoop數據處理程序所需的實踐技能及Hadoop之外更大的生態系統。 《Hadoop實戰》適合需要處理大量離線數據的云計算程序員、架構師和項目經理閱讀參考。

目　錄第一部分　Hadoop——一種分布式編程框架第1章　Hadoop簡介　21.1　為什么寫《Hadoop 實戰》　31.2　什么是Hadoop　31.3　了解分布式系統和Hadoop　41.4　比較SQL數據庫和Hadoop　51.5　理解MapReduce　61.5.1　動手擴展一個簡單程序　71.5.2　相同程序在MapReduce中的擴展　91.6　用Hadoop統計單詞——運行第一個程序　111.7　Hadoop歷史　151.8　小結　161.9　資源　16第2章　初識Hadoop　172.1　Hadoop的構造模塊　172.1.1　NameNode　172.1.2　DataNode　182.1.3　Secondary NameNode　192.1.4　JobTracker　192.1.5　TaskTracker　192.2　為Hadoop集群安裝SSH　212.2.1　定義一個公共賬號　212.2.2　驗證SSH安裝　212.2.3　生成SSH密鑰對　212.2.4　將公鑰分布并登錄驗證　222.3　運行Hadoop　222.3.1　本地(單機)模式　232.3.2　偽分布模式　242.3.3　全分布模式　252.4　基于Web的集群用戶界面　282.5　小結　30第3章　Hadoop組件　313.1　HDFS文件操作　313.1.1　基本文件命令　323.1.2　編程讀寫HDFS　353.2　剖析MapReduce程序　373.2.1　Hadoop數據類型　393.2.2　Mapper　403.2.3　Reducer　413.2.4　Partitioner：重定向Mapper輸出　413.2.5　Combiner：本地reduce　433.2.6　預定義mapper和Reducer類的單詞計數　433.3　讀和寫　433.3.1　InputFormat　443.3.2　OutputFormat　493.4　小結　50第二部分　實戰第4章　編寫MapReduce基礎程序　524.1　獲得專利數據集　524.1.1　專利引用數據　534.1.2　專利描述數據　544.2　構建MapReduce程序的基礎模板　554.3　計數　604.4　適應Hadoop API的改變　644.5　Hadoop的Streaming　674.5.1　通過Unix命令使用Streaming　684.5.2　通過腳本使用Streaming　694.5.3　用Streaming處理鍵/值對　724.5.4　通過Aggregate包使用Streaming　754.6　使用combiner提升性能　804.7　溫故知新　834.8　小結　844.9　更多資源　84第5章　高階MapReduce　855.1　鏈接MapReduce作業　855.1.1　順序鏈接MapReduce作業　855.1.2　具有復雜依賴的MapReduce鏈接　865.1.3　預處理和後處理階段的鏈接　865.2　聯結不同來源的數據　895.2.1　Reduce側的聯結　905.2.2　基于DistributedCache的復制聯結　985.2.3　半聯結：map側過濾後在reduce側聯結　1015.3　創建一個Bloom filter　1025.3.1　Bloom filter做了什么　1025.3.2　實現一個Bloom filter　1045.3.3　Hadoop 0.20以上版本的Bloom filter　1105.4　溫故知新 1105.5　小結　1115.6　更多資源　112第6章　編程實踐　1136.1　開發MapReduce程序　1136.1.1　本地模式　1146.1.2　偽分布模式　1186.2　生產集群上的監視和調試　1236.2.1　計數器　1236.2.2　跳過壞記錄　1256.2.3　用IsolationRunner重新運行出錯的任務　1286.3　性能調優　1296.3.1　通過combiner來減少網絡流量　1296.3.2　減少輸入數據量　1296.3.3　使用壓縮　1296.3.4　重用JVM　1326.3.5　根據猜測執行來運行　1326.3.6　代碼重構與算法重寫　1336.4　小結　134第7章　細則手冊　1357.1　向任務傳遞作業定制的參數　1357.2　探查任務特定信息　1377.3　劃分為多個輸出文件　1387.4　以數據庫作為輸入輸出　1437.5　保持輸出的順序　1457.6　小結　146第8章　管理Hadoop　1478.1　為實際應用設置特定參數值　1478.2　系統體檢　1498.3　權限設置　1518.4　配額管理　1518.5　啟用回收站　1528.6　刪減DataNode　1528.7　增加DataNode　1538.8　管理NameNode和SNN　1538.9　恢復失效的NameNode　1558.10　感知網絡布局和機架的設計　1568.11　多用戶作業的調度　1578.11.1　多個JobTracker　1588.11.2　公平調度器　1588.12　小結　160第三部分　Hadoop也瘋狂第9章　在云上運行Hadoop　1629.1　Amazon Web Services簡介　1629.2　安裝AWS　1639.2.1　獲得AWS身份認證憑據　1649.2.2　獲得命令行工具　1669.2.3　準備SSH密鑰對　1689.3　在EC2上安裝Hadoop　1699.3.1　配置安全參數　1699.3.2　配置集群類型　1699.4　在EC2上運行MapReduce程序　1719.4.1　將代碼轉移到Hadoop集群上　1719.4.2　訪問Hadoop集群上的數據　1729.5　清空和關閉EC2實例　1759.6　Amazon Elastic MapReduce和其他AWS服務　1769.6.1　Amazon Elastic MapReduce　1769.6.2　AWS導入/導出　1779.7　小結　177第10章　用Pig編程　17810.1　像Pig一樣思考　17810.1.1　數據流語言　17910.1.2　數據類型　17910.1.3　用戶定義函數　17910.2　安裝Pig　17910.3　運行Pig　18010.4　通過Grunt學習Pig Latin　18210.5　談談Pig Latin　18610.5.1　數據類型和schema　18610.5.2　表達式和函數　18710.5.3　關系型運算符　18910.5.4　執行優化　19610.6　用戶定義函數　19610.6.1　使用UDF　19610.6.2　編寫UDF　19710.7　腳本　19910.7.1　注釋　19910.7.2　參數替換　20010.7.3　多查詢執行　20110.8　Pig實戰——計算相似專利的例子　20110.9　小結　206第11章　Hive及Hadoop群　20711.1　Hive　20711.1.1　安裝與配置Hive　20811.1.2　查詢的示例　21011.1.3　深入HiveQL　21311.1.4　Hive小結　22111.2　其他Hadoop相關的部分　22111.2.1　HBase　22111.2.2　ZooKeeper　22111.2.3　Cascading　22111.2.4　Cloudera　22211.2.5　Katta　22211.2.6　CloudBase　22211.2.7　Aster Data和Greenplum　22211.2.8　Hama和Mahout　22311.2.9　search-hadoop.com　22311.3　小結　223第12章　案例研究　22412.1　轉換《紐約時報》1100萬個庫存圖片文檔　22412.2　挖掘中國移動的數據　22512.3　在StumbleUpon推薦最佳網站　22912.3.1　分布式StumbleUpon的開端　23012.3.2　HBase和StumbleUpon　23012.3.3　StumbleUpon上的更多Hadoop應用　23612.4　搭建面向企業查詢的分析系統——IBM的ES2項目　23812.4.1　ES2系統結構　24012.4.2　ES2爬蟲　24112.4.3　ES2分析　24212.4.4　小結　24912.4.5　參考文獻　250附錄A　HDFS文件命令　251