TOP
0
0
【23號簡體館日】限時三天領券享優惠!!
Alluxio:大數據統一存儲原理與實踐(簡體書)
滿額折

Alluxio:大數據統一存儲原理與實踐(簡體書)

人民幣定價:79 元
定  價:NT$ 474 元
優惠價:87412
領券後再享88折
海外經銷商無庫存,到貨日平均30天至45天
可得紅利積點:12 點
相關商品
商品簡介
作者簡介
目次

商品簡介

Alluxio 這一以內存為中心的分布式虛擬文件系統,最初誕生于加州大學伯克利分校的 AMPLab,其開源社區在目前大數據生態系統中發展很快。本書以廣泛使用的 Alluxio 1.8.1 版本為基礎進行編寫,是一本全面介紹 Alluxio 相關技術原理與實踐案例的書籍。本書主要內容包括 Alluxio 系統快速入門、Alluxio 系統架構及讀寫工作機制、Alluxio 與底層存儲系統的集成、Alluxio 與上層計算框架的集成、Alluxio 基本功能和高級功能的介紹與使用。此外,本書還詳細介紹了 Alluxio 的應用案例與生產實踐,並詳細解讀了 Alluxio 的核心框架和技術應用,旨在為大數據從業人員和大數據存儲技術愛好者提供一個深入學習的平臺,也可用作開源社區開發者指南。

作者簡介

範 斌,
Alluxio開源項目管理委員會成員和源碼維護者,Alluxio公司創始成員,現任開源副總裁;加入Alluxio項目之前就職于谷歌山景城,從事下一代大規模分布式存儲系統的研究與開發,並榮獲穀歌基礎設施技術獎(Technical Infrastructure Award);2013年獲得卡內基梅隆大學(Carnegie Mellon University)計算機系博士學位,攻讀博士期間從事分布式系統算法和實現,是CuckooFilter、MemC3及高性能多線程KV庫libcuckoo的一作者或聯合作者,在SIGCOMM、SOSP、NSDI、CoNEXT等學術會議及IEEE Transactions on Networking等學術期刊上發表了論文;擁有多項專利,部分學術研究成果已在Alluxio、穀歌、Facebook、英特爾、微軟等高科技公司落地使用。

顧 榮,
南京大學計算機科學與技術系助理研究員,Alluxio項目管理委員會成員和源碼維護者;于2016年獲得南京大學計算機專業博士學位,主要研究領域為大數據處理技術與系統;在國際期刊、會議發表論文30餘篇,包括IEEE TPDS、IEEE ICDE、IEEE IPDPS、JPDC、Parallel Computing、ICPP等;擁有多項發明專利;部分研究成果已在英特爾、百度、華泰證券、蘇甯易購、華為、字節跳動等公司落地使用,或被主流開源大數據系統Apache Spark和Alluxio官方版本集成發佈;擔任多種學術期刊審稿人,以及江蘇省計算機學會大數據專委會秘書長、中國計算機學會系統軟件專委會委員。

目次

第 1 章 Alluxio 系統快速入門 ............................................................................................. 1
1.1 Alluxio 背景概述 ..................................................................................................... 1
1.1.1 Alluxio 系統功能簡介 ................................................................................. 4
1.1.2 Alluxio 項目發展歷史 ................................................................................. 5
1.2 獲取/編譯 Alluxio 軟件 ........................................................................................... 6
1.2.1 下載預編譯的 Alluxio 可執行包 ................................................................ 6
1.2.2 編譯 Alluxio 源代碼 .................................................................................... 6
1.3 Alluxio 的搭建部署及程序運行 ........................................................................... 10
1.3.1 單機模式 .................................................................................................... 10
1.3.2 集群模式 .................................................................................................... 13
1.3.3 高可用集群模式 ........................................................................................ 16
第 2 章 Alluxio 系統架構及讀寫工作機制 ....................................................................... 22
2.1 Alluxio 的構架簡介與基本特徵 ........................................................................... 22
2.1.1 提升遠程存儲讀寫性能 ............................................................................ 23
2.1.2 統一持久化數據訪問接口 ........................................................................ 24
2.1.3 數據的快速複用和共享 ............................................................................ 26
2.2 Alluxio 的系統功能組件 ....................................................................................... 27
2.2.1 Alluxio Master 組件 ................................................................................... 27
2.2.2 Alluxio Worker 組件 .................................................................................. 29
2.2.3 Alluxio Client 組件 .................................................................................... 30
2.3 Alluxio 讀寫場景的行為分析 ............................................................................... 31
2.3.1 Alluxio 的讀場景數據流 ........................................................................... 31
2.3.2 Alluxio 的寫場景數據流 ........................................................................... 37
第 3 章 Alluxio 與底層存儲系統的集成 ........................................................................... 40
3.1 配置 HDFS 作為 Alluxio 底層存儲 ...................................................................... 40
3.1.1 準備步驟與基本配置流程 ........................................................................ 41
3.1.2 高級參數配置 ............................................................................................ 43
3.1.3 使用 HDFS 在本地運行 Alluxio ............................................................... 44
3.2 配置 Secure HDFS 作為 Alluxio 底層存儲 .......................................................... 44
3.2.1 準備步驟與基本配置流程 ........................................................................ 45
3.2.2 使用安全認證模式 HDFS 在本地運行 Alluxio ....................................... 46
3.3 配置 AWS S3 作為 Alluxio 底層存儲 .................................................................. 47
3.3.1 準備步驟與基本配置流程 ........................................................................ 47
3.3.2 高級參數配置 ............................................................................................ 49
3.3.3 使用 S3 在本地運行 Alluxio ..................................................................... 51
3.4 配置 Google GCS 作為 Alluxio 底層存儲 ........................................................... 52
3.4.1 準備步驟與基本配置流程 ........................................................................ 52
3.4.2 高級參數配置 ............................................................................................ 53
3.4.3 使用 GCS 本地運行 Alluxio ..................................................................... 54
3.5 配置 Azure BLOB Store 作為 Alluxio 底層存儲系統 ........................................ 55
3.5.1 準備步驟與基本配置流程 ........................................................................ 55
3.5.2 使用 Azure BLOB Store 本地運行 Alluxio .............................................. 57
第 4 章 Alluxio 與上層計算框架的集成 ........................................................................... 58
4.1 Alluxio 的管理員操作命令 ................................................................................... 58
4.1.1 操作命令列表 ............................................................................................ 59
4.1.2 操作命令示例 ............................................................................................ 59
4.2 Alluxio 的用戶操作命令 ....................................................................................... 61
4.2.1 操作命令列表 ............................................................................................ 62
4.2.2 操作命令示例 ............................................................................................ 65
4.3 Alluxio 與 Hadoop 操作命令行的集成 ................................................................ 78
4.3.1 前期準備與配置 ........................................................................................ 78
4.3.2 具體使用示例 ............................................................................................ 79
4.4 Alluxio 與 Hadoop MapReduce 的集成 ................................................................ 79
4.4.1 前期準備與配置 ........................................................................................ 80
4.4.2 具體使用示例 ............................................................................................ 82
4.5 Alluxio 與 Spark 的集成 ....................................................................................... 83
4.5.1 前期準備與配置 ........................................................................................ 83
4.5.2 使用 Alluxio 作為輸入/輸出源 ................................................................. 85
4.5.3 Alluxio 與 Spark 集成常見問題分析與解決 ............................................ 86
4.6 Alluxio 與 Hive 的集成 ......................................................................................... 89
4.6.1 安裝並配置 Hive 環境 .............................................................................. 89
4.6.2 使用 Alluxio 存儲部分 Hive 表 ................................................................ 90
4.6.3 使用 Alluxio 作為默認文件系統(存儲全部數據) .............................. 93
4.6.4 檢查 Hive 和 Alluxio 的集成情況(支持 Hive 2.x) ............................. 95
4.7 Alluxio 與 Presto 的集成 ....................................................................................... 96
4.7.1 前期準備 .................................................................................................... 96
4.7.2 部署分發 Alluxio 客戶端 jar 包 ................................................................ 98
4.7.3 Presto 操作命令示例 ................................................................................. 98
4.8 Alluxio 與 TensorFlow 的集成 ........................................................................... 100
4.8.1 深度學習面臨的數據挑戰 ...................................................................... 100
4.8.2 基於 Alluxio 解決深度學習存儲問題的分析 ........................................ 101
4.8.3 安裝並配置 Alluxio FUSE ..................................................................... 102
4.8.4 TensorFlow 使用 Alluxio FUSE 管理訪問數據 ..................................... 103
第 5 章 Alluxio 基本功能的介紹與使用 ......................................................................... 105
5.1 Alluxio 系統環境與屬性的配置 ......................................................................... 105
5.1.1 Alluxio 系統組件參數的配置 ................................................................. 106
5.1.2 Alluxio 客戶端組件參數的配置 ............................................................. 109
5.1.3 Alluxio 參數配置的相關工具 ................................................................. 112
5.2 Alluxio 底層文件系統的配置與管理 ................................................................. 113
5.2.1 Alluxio 掛載底層存儲 ............................................................................. 113
5.2.2 Alluxio 與底層存儲的元數據一致性保證 ............................................. 116
5.3 Alluxio 緩存資源的配置與管理 ......................................................................... 120
5.3.1 配置 Alluxio 緩存存儲資源 .................................................................... 121
5.3.2 Alluxio 緩存數據的載入、駐留及釋放 ................................................. 126
5.3.3 配置 Alluxio 緩存數據的生存時間 ........................................................ 127
5.4 Alluxio 系統 Web 用戶界面的查看與使用 ...................................................... 128
5.4.1 Alluxio Master Web 界面介紹 ................................................................ 128
5.4.2 Alluxio Worker Web 界面介紹 ............................................................... 134
第 6 章 Alluxio 高級功能的介紹與使用 ......................................................................... 137
6.1 Alluxio 的安全認證與權限控制 ......................................................................... 137
6.1.1 Alluxio 安全認證模式的介紹 ................................................................. 138
6.1.2 Alluxio 訪問權限控制的介紹 ................................................................. 139
6.1.3 Alluxio 用戶模擬功能的介紹 ................................................................. 141
6.1.4 Alluxio 審計日誌功能的介紹 ................................................................. 142
6.2 Alluxio 的內置 Metrics 系統............................................................................... 143
6.3 Alluxio 文件系統日誌的使用與維護 ................................................................. 145
6.4 Alluxio 系統的異常排查 ..................................................................................... 148
Alluxio: 大數據統一存儲原理與實踐
第 7 章 Alluxio 的應用案例與生產實踐 ......................................................................... 152
7.1 陌陌基於 Alluxio 加速 Spark SQL 查詢 ............................................................ 152
7.1.1 Alluxio 緩存應用背景簡介 ..................................................................... 153
7.1.2 陌陌應用場景結合 Alluxio 的分析 ........................................................ 153
7.1.3 基於 Alluxio 的陌陌 Ad Hoc 查詢系統架構 .......................................... 155
7.1.4 基於 Alluxio 的查詢性能評估與分析 .................................................... 156
7.1.5 陌陌在 Alluxio 實戰方面的後續實踐 .................................................... 158
7.2 京東基於 Alluxio 和 Presto 構建交互式查詢引擎 ............................................ 158
7.2.1 京東大數據平臺的業務問題背景 .......................................................... 159
7.2.2 JDPresto on Alluxio 架構與特性的介紹 ................................................. 160
7.2.3 JDPresto on Alluxio 的性能評估與分析 ................................................. 161
7.2.4 JDPresto on Alluxio 的應用總結 ............................................................. 164
7.3 Alluxio 在攜程實時計算平臺中的應用與實踐 ................................................. 165
7.3.1 攜程實時計算的應用背景 ...................................................................... 165
7.3.2 基於 Alluxio 的跨集群數據共享方案與性能評估 ................................ 168
7.4 去哪兒網利用 Alluxio 提升異地存儲訪問性能 ................................................ 169
7.4.1 去哪兒網流式處理背景簡介 .................................................................. 170
7.4.2 原有系統架構及相關問題分析 .............................................................. 171
7.4.3 基於 Alluxio 改進後的系統架構介紹與性能評估 ................................ 172
7.5 百度基於 Alluxio 加速遠程數據讀取 ................................................................ 176
7.5.1 百度跨機房數據查詢問題的描述 .......................................................... 177
7.5.2 使用 Alluxio 緩存遠端數據的方案與效果 ............................................ 177
7.5.3 使用 Alluxio 分層存儲的方案與效果 .................................................... 178
7.5.4 基於 Alluxio 提速遠程數據訪問的總結 ................................................ 180
第 8 章 Alluxio 的開源社區開發者指南 ......................................................................... 181
8.1 Alluxio 的源代碼規範 ......................................................................................... 181
8.1.1 源代碼風格要求 ...................................................................................... 182
8.1.2 Alluxio 的單元測試 ................................................................................. 184
8.1.3 Alluxio 的日誌系統 ................................................................................. 184
8.1.4 Alluxio 的 RPC 定義 ............................................................................... 186
8.1.5 Alluxio 文件系統日誌消息 ..................................................................... 186
8.2 Alluxio 的單元測試流程介紹 ............................................................................. 187
8.2.1 運行 Alluxio 單元測試 ............................................................................ 187
8.2.2 創建 Alluxio 單元測試 ............................................................................ 188
8.2.3 單元測試需要避免的情況 ...................................................................... 190
8.2.4 Alluxio 單元測試的全域狀態管理 ......................................................... 191
8.3 貢獻源代碼至 Alluxio 開源社區 ........................................................................ 193
8.3.1 開發者的系統要求和環境準備 .............................................................. 194
8.3.2 下載 Alluxio 源代碼並配置開發者郵箱 ................................................ 194
8.3.3 編譯 Alluxio 源代碼 ................................................................................ 195
8.3.4 領取一個開發者新手任務 ...................................................................... 196
8.3.5 在本地副本中創建一個新的開發分支 .................................................. 196
8.3.6 提交本地的 commit ................................................................................. 197
8.3.7 提交一個社區 Pull Request ..................................................................... 198
8.3.8 審閱社區 Pull Request ............................................................................. 199

您曾經瀏覽過的商品

購物須知

大陸出版品因裝訂品質及貨運條件與台灣出版品落差甚大,除封面破損、內頁脫落等較嚴重的狀態,其餘商品將正常出貨。

特別提醒:部分書籍附贈之內容(如音頻mp3或影片dvd等)已無實體光碟提供,需以QR CODE 連結至當地網站註冊“並通過驗證程序”,方可下載使用。

無現貨庫存之簡體書,將向海外調貨:
海外有庫存之書籍,等候約45個工作天;
海外無庫存之書籍,平均作業時間約60個工作天,然不保證確定可調到貨,尚請見諒。

為了保護您的權益,「三民網路書店」提供會員七日商品鑑賞期(收到商品為起始日)。

若要辦理退貨,請在商品鑑賞期內寄回,且商品必須是全新狀態與完整包裝(商品、附件、發票、隨貨贈品等)否則恕不接受退貨。

優惠價:87 412
海外經銷商無庫存,到貨日平均30天至45天

暢銷榜

客服中心

收藏

會員專區