商品簡介
本書作為《Hadoop大數據原理與應用》(本書作者編寫，西安電子科技大學出版社出版)的配套實驗教程，系統介紹了Hadoop生態系統中各個開源組件的相關知識和實踐技能。全書分為“基礎實驗篇”和“拓展實驗篇”兩篇，共10章，涉及數據采集、數據存儲與管理、數據處理與分析等大數據應用生命週期中各階段典型組件的部署、使用和基礎編程方法。“基礎實驗篇”內容包括部署全分佈模式Hadoop集群、實戰HDFS、MapReduce編程、部署ZooKeeper集群和實戰ZooKeeper、部署全分佈模式HBase集群和實戰HBase、部署本地模式Hive和實戰Hive；“拓展實驗篇”內容包括部署Spark集群和Spark編程、實戰Sqoop、實戰Flume、實戰Kafka。
本書內容翔實，案例豐富，操作過程詳盡，並配有完整的立體化資源，既可作為高等院校研究生、本科生的大數據技術原理與應用課程的實驗指導書，也可作為教師參考書，同時也可供相關技術人員參考。
目次
上篇 基礎實驗篇
實驗1 部署全分佈模式Hadoop集群 2
1.1 實驗目的、實驗環境和實驗內容 3
1.2 實驗原理 3
1.2.1 Linux基本命令 3
1.2.2 vim編輯器 6
1.2.3 Java基本命令 7
1.2.4 SSH安全通信協議 8
1.2.5 Hadoop 8
1.3 實驗步驟 12
1.3.1 規劃部署 12
1.3.2 準備機器 14
1.3.3 準備軟件環境 14
1.3.4 獲取和安裝Hadoop 22
1.3.5 配置全分佈模式Hadoop集群 22
1.3.6 關閉防火牆 30
1.3.7 格式化文件系統 31
1.3.8 啟動和驗證Hadoop 32
1.3.9 關閉Hadoop 41
1.3.10 實驗報告要求 42
1.4 拓展訓練――部署偽分佈模式
?Hadoop集群 42
1.4.1 規劃部署 43
1.4.2 準備機器 43
1.4.3 準備軟件環境 44
1.4.4 下載和安裝Hadoop 47
1.4.5 配置Hadoop 47
1.4.6 格式化文件系統 49
1.4.7 啟動和驗證偽分佈模式
Hadoop集群 49
1.4.8 關閉偽分佈模式Hadoop集群 54
思考與練習題 55
參考文獻 55
實驗2 實戰HDFS 57
2.1 實驗目的、實驗環境和實驗內容 57
2.2 實驗原理 58
2.2.1 初識HDFS 58
2.2.2 HDFS的體系架構 58
2.2.3 HDFS文件的存儲原理 60
2.2.4 HDFS接口 64
2.3 實驗步驟 70
2.3.1 啟動Hadoop集群 70
2.3.2 使用 HDFS Shell 71
2.3.3 使用HDFS Web UI 72
2.3.4 搭建HDFS的開發環境Eclipse 73
2.3.5 使用HDFS Java API編程 75
2.3.6 關閉Hadoop集群 87
2.3.7 實驗報告要求 87
2.4 拓展訓練――?搭建HDFS
NameNode HA 88
思考與練習題 92
參考文獻 92
實驗3 MapReduce編程 94
3.1 實驗目的、實驗環境和實驗內容 94
3.2 實驗原理 95
3.2.1 MapReduce的編程思想 95
3.2.2 MapReduce的作業執行流程 97
3.2.3 MapReduce Web 98
3.2.4 MapReduce Shell 98
3.2.5 MapReduce Java API 99
3.3 實驗步驟 99
3.3.1 啟動Hadoop集群 99
3.3.2 搭建MapReduce的
開發環境Eclipse 100
3.3.3 編寫並運行MapReduce程序
WordCount 100
3.3.4 練習使用MapReduce Shell命令 111
3.3.5 練習使用MapReduce Web UI
界面 112
3.3.6 關閉Hadoop集群 113
3.3.7 實驗報告要求 113
3.4 拓展訓練 113
3.4.1 在Windows平臺上開發
MapReduce程序 113
3.4.2 MapReduce編程實踐：使用
MapReduce統計對象中的
某些屬性 117
思考與練習題 122
參考文獻 122
實驗4 部署ZooKeeper集群和實戰
ZooKeeper 123
4.1 實驗目的、實驗環境和實驗內容 123
4.2 實驗原理 124
4.2.1 ZooKeeper的系統模型 124
4.2.2 ZooKeeper的工作原理 128
4.2.3 部署ZooKeeper 131
4.2.4 ZooKeeper的四字命令 134
4.2.5 ZooKeeper Shell 135
4.2.6 ZooKeeper Java API 137
4.3 實驗步驟 139
4.3.1 規劃ZooKeeper集群 139
4.3.2 部署ZooKeeper集群 140
4.3.3 啟動ZooKeeper集群 143
4.3.4 驗證ZooKeeper集群 144
4.3.5 使用ZooKeeper的四字命令 144
4.3.6 使用ZooKeeper Shell的
常用命令 146
4.3.7 關閉ZooKeeper集群 151
4.3.8 實驗報告要求 151
4.4 拓展訓練 152
4.4.1 搭建ZooKeeper的
開發環境Eclipse 152
4.4.2 ZooKeeper編程實踐――
ZooKeeper文件系統的增刪改查 152
4.4.3 ZooKeeper編程實踐――
循環監聽 160
思考與練習題 162
參考文獻 163
實驗5 部署全分佈模式HBase集群和
實戰HBase 164
5.1 實驗目的、實驗環境和實驗內容 164
5.2 實驗原理 165
5.2.1 初識HBase 165
5.2.2 HBase的數據模型 165
5.2.3 HBase的體系架構 169
5.2.4 部署HBase 172
5.2.5 HBase接口 174
5.3 實驗步驟 178
5.3.1 規劃全分佈模式HBase集群 178
5.3.2 部署全分佈模式HBase集群 179
5.3.3 啟動全分佈模式HBase集群 183
5.3.4 驗證全分佈模式HBase集群 184
5.3.5 使用HBase Shell和HBase
Web UI 186
5.3.6 關閉全分佈模式HBase集群 189
5.3.7 實驗報告要求 189
5.4 拓展訓練 190
5.4.1 搭建HBase的開發環境Eclipse 190
5.4.2 HBase編程實踐：HBase表的
增刪改 190
思考與練習題 192
參考文獻 192
實驗6 部署本地模式Hive和實戰Hive 194
6.1 實驗目的、實驗環境和實驗內容 194
6.2 實驗原理 195
6.2.1 初識Hive 195
6.2.2 Hive的體系架構 196
6.2.3 Hive的數據類型 198
6.2.4 Hive的文件格式 199
6.2.5 Hive的數據模型 200
6.2.6 Hive函數 201
6.2.7 部署Hive 205
6.2.8 Hive接口 208
6.3 實驗步驟 211
6.3.1 規劃Hive 211
6.3.2 部署本地模式Hive 213
6.3.3 驗證Hive 223
6.3.4 使用Hive Shell 224
6.3.5 實驗報告要求 227
6.4 拓展訓練 228
6.4.1 搭建Hive的開發環境Eclipse 228
6.4.2 Hive編程實踐：操縱Hive
數據庫和表 228
思考與練習題 235
參考文獻 236
下篇 拓展實驗篇
實驗7 部署Spark集群和Spark編程 238
7.1 實驗目的、實驗環境和實驗內容 238
7.2 實驗原理 239
7.2.1 初識Spark 239
7.2.2 Spark的體系架構 241
7.2.3 Spark的計算模型 246
7.2.4 RDD的設計與運行原理 247
7.2.5 Spark集群部署 250
7.2.6 Spark接口 252
7.3 實驗步驟 255
7.3.1 規劃SparkStandalone集群 255
7.3.2 手工部署SparkStandalone集群 257
7.3.3 啟動SparkStandalone集群 261
7.3.4 驗證SparkStandalone集群 261
7.3.5 使用Spark Web UI、Spark Shell和
Spark API 261
7.3.6 關閉SparkStandalone集群 267
思考與練習題 268
參考文獻 268
實驗8 實戰Sqoop 269
8.1 實驗目的、實驗環境和實驗內容 269
8.2 實驗原理 270
8.2.1 初識Sqoop 270
8.2.2 Sqoop的體系架構 271
8.2.3 安裝Sqoop 272
8.2.4 Sqoop Shell 273
8.2.5 Sqoop API 277
8.3 實驗步驟 277
8.3.1 規劃安裝 277
8.3.2 安裝和配置Sqoop 279
8.3.3 驗證Sqoop 281
8.3.4 使用Sqoop Shell 281
思考與練習題 301
參考文獻 301
實驗9 實戰Flume 302
9.1 實驗目的、實驗環境和實驗內容 302
9.2 實驗原理 303
9.2.1 初識Flume 303
9.2.2 Flume的體系架構 304
9.2.3 安裝Flume 306
9.2.4 Flume Shell 307
9.2.5 Flume API 309
9.3 實驗步驟 309
9.3.1 規劃安裝 309
9.3.2 安裝和配置Flume 310
9.3.3 驗證Flume 311
9.3.4 使用Flume 311
思考與練習題 318
參考文獻 318
實驗10 實戰Kafka 319
10.1 實驗目的、實驗環境和實驗內容 319
10.2 實驗原理 320
10.2.1 初識Kafka 320
10.2.2 Kafka的體系架構 321
10.2.3 安裝Kafka 323
10.2.4 Kafka Shell 325
10.2.5 Kafka API 326
10.3 實驗步驟 326
10.3.1 規劃Kafka集群 326
10.3.2 部署Kafka集群 327
10.3.3 啟動Kafka集群 329
10.3.4 驗證Kafka集群 330
10.3.5 使用Kafka Shell 330
10.3.6 關閉Kafka集群 334
思考與練習題 334
參考文獻 334
