高性能分布式計算系統開發與實現：基於Hadoop、Scalding和Spark（簡體書）

本書分兩部分，共8章，介紹了如何使用開源工具和技術開發與實現大規模分布式處理系統，涵蓋構建高性能分布式計算系統的方法和佳實踐。第 一部分（第1～4章）介紹了高性能分布式計算編程的基礎知識，包括分布式系統、Hadoop入門、Spark入門、Scalding入門等；第二部分（第5～8章）給出了使用Hadoop、Spark、Scalding的案例研究，涉及數據聚類、數據分類、回歸分析、推薦系統等。本書適合作為高等院校計算機相關專業的教材，也適合作為軟件工程師、應用開發人員、科研人員的參考書。

目 錄
譯者序
前言
作者簡介
第一部分　高性能分布式計算編程基礎
第1章　引言2
1.1　分布式系統2
1.2　分布式系統類型5
1.2.1　分布式嵌入式系統5
1.2.2　分布式信息系統7
1.2.3　分布式計算系統8
1.3　分布式計算架構9
1.4　分布式文件系統10
1.4.1　分布式文件系統需求10
1.4.2　分布式文件系統架構11
1.5　分布式系統面臨的挑戰13
1.6　分布式系統的發展趨勢16
1.7　高性能分布式計算系統示例18
參考文獻20
第2章　Hadoop入門22
2.1　Hadoop簡介22
2.2　Hadoop生態系統24
2.3　Hadoop分布式文件系統26
2.3.1　HDFS的特性26
2.3.2　名稱節點和數據節點27
2.3.3　文件系統28
2.3.4　數據複製28
2.3.5　通信30
2.3.6　數據組織30
2.4　MapReduce準備工作31
2.5　安裝前的準備33
2.6　單節點集群的安裝35
2.7　多節點集群的安裝38
2.8　Hadoop編程45
2.9　Hadoop流48
參考文獻51
第3章　Spark入門53
3.1　Spark簡介53
3.2　Spark內部結構54
3.3　Spark安裝58
3.3.1　安裝前的準備58
3.3.2　開始使用60
3.3.3　示例：Scala應用63
3.3.4　Python下Spark的使用65
3.3.5　示例：Python應用67
3.4　Spark部署68
3.4.1　應用提交68
3.4.2　單機模式70
參考文獻72
第4章　Scalding和Spark的內部編程74
4.1　Scalding簡介74
4.1.1　安裝74
4.1.2　編程指南77
4.2　Spark編程指南103
參考文獻120
第二部分　使用Hadoop、Scalding和Spark的案例研究
第5章　案例研究Ⅰ：使用Scalding和Spark進行數據聚類122
5.1　簡介122
5.2　聚類122
5.2.1　聚類方法123
5.2.2　聚類處理125
5.2.3　K均值算法125
5.2.4　簡單的K均值示例126
5.3　實現128
問題142
參考文獻142
第6章　案例研究Ⅱ：使用Scalding和Spark進行數據分類144
6.1　分類145
6.2　概率論146
6.2.1　隨機變量146
6.2.2　分佈146
6.2.3　均值和方差147
6.3　樸素貝葉斯148
6.3.1　概率模型148
6.3.2　參數估計和事件模型149
6.3.3　示例150
6.4　樸素貝葉斯分類器的實現152
6.4.1　Scalding實現153
6.4.2　結果166
問題168
參考文獻168
第7章　案例研究Ⅲ：使用Scalding和Spark進行回歸分析169
7.1　回歸分析的步驟169
7.2　實現細節172
7.2.1　線性回歸：代數方法173
7.2.2　代數方法的Scalding實現174
7.2.3　代數方法的Spark實現179
7.2.4　線性回歸：梯度下降法184
7.2.5　梯度下降法的Scalding實現187
7.2.6　梯度下降法的Spark實現195
問題198
參考文獻199
第8章　案例研究Ⅳ：使用Scalding和Spark實現推薦系統200
8.1　推薦系統200
8.1.1　目標201
8.1.2　推薦系統的數據源201
8.1.3　推薦系統中使用的技術202
8.2　實現細節204
8.2.1　Spark實現206
8.2.2　Scalding實現221
問題230
參考文獻230
索引233