書(shū)馨卡幫你省薪 2024個(gè)人購(gòu)書(shū)報(bào)告 2024中圖網(wǎng)年度報(bào)告
歡迎光臨中圖網(wǎng) 請(qǐng) | 注冊(cè)
> >
分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)——ALLUXIO原理、技術(shù)與實(shí)踐

分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)——ALLUXIO原理、技術(shù)與實(shí)踐

出版社：機(jī)械工業(yè)出版社出版時(shí)間：2023-08-01
開(kāi)本： 16開(kāi) 頁(yè)數(shù)： 378
中 圖 價(jià):¥70.3(7.1折) 定價(jià)  ¥99.0 登錄后可看到會(huì)員價(jià)
加入購(gòu)物車(chē) 收藏
運(yùn)費(fèi)6元，滿39元免運(yùn)費(fèi)
?新疆、西藏除外
本類(lèi)五星書(shū)更多>

分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)——ALLUXIO原理、技術(shù)與實(shí)踐 版權(quán)信息

分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)——ALLUXIO原理、技術(shù)與實(shí)踐 本書(shū)特色

Alluxio是一款重要的現(xiàn)代開(kāi)源分布式虛擬文件系統(tǒng)，是目前大數(shù)據(jù)生態(tài)系統(tǒng)中發(fā)展*快的開(kāi)源社區(qū)之一，Alluxio已在全球數(shù)千個(gè)企事業(yè)單位部署應(yīng)用，并在超過(guò)5000個(gè)節(jié)點(diǎn)的集群上運(yùn)行。自2013年開(kāi)源以來(lái)，社區(qū)貢獻(xiàn)者數(shù)和用戶數(shù)不斷增多。本書(shū)的三位作者均為Alluxio項(xiàng)目的PMC成員和Maintainer，熟知Alluxio大數(shù)據(jù)文件系統(tǒng)的架構(gòu)原理，并對(duì)Alluxio開(kāi)源社區(qū)的發(fā)展產(chǎn)生了深遠(yuǎn)的影響。本書(shū)能夠幫助讀者全面和透徹地理解現(xiàn)代分布式文件系統(tǒng)的基本原理與Alluxio的核心框架及其實(shí)際案例。 本書(shū)在介紹分布式文件系統(tǒng)相關(guān)技術(shù)原理的同時(shí)，還講解了Alluxio技術(shù)在國(guó)內(nèi)外旗艦科技和數(shù)字化公司的使用案例，并在附錄部分介紹了如何向標(biāo)準(zhǔn)化開(kāi)源社區(qū)貢獻(xiàn)源碼，具有較高的技術(shù)前沿性和較強(qiáng)的國(guó)際視野。 *全面解讀Alluxio核心框架、技術(shù)原理和應(yīng)用場(chǎng)景 *Alluxio創(chuàng)始人、開(kāi)源技術(shù)專(zhuān)家、領(lǐng)域知名學(xué)者和教育專(zhuān)家聯(lián)合力薦 *國(guó)內(nèi)外一線科技和數(shù)字化公司的使用案例 *3位作者均為Alluxio項(xiàng)目的PMC成員和Maintainer，具備較高的技術(shù)前沿水平和國(guó)際視野

分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)——ALLUXIO原理、技術(shù)與實(shí)踐 內(nèi)容簡(jiǎn)介

本書(shū)分為基礎(chǔ)篇、進(jìn)階篇、實(shí)戰(zhàn)篇，共15章內(nèi)容，主要內(nèi)容包括 Alluxio 總體介紹與快速入門(mén)、 Alluxio 核心功能服務(wù)、Alluxio 與底層存儲(chǔ)系統(tǒng)的集成、Alluxio 與上層計(jì)算框架的集成、 Alluxio 基本使用與運(yùn)維操作、Alluxio主節(jié)點(diǎn)原理與元數(shù)據(jù)管理、Alluxio工作節(jié)點(diǎn)原理與文件數(shù)據(jù)管理、Alluxio客戶端原理與高級(jí)接口、Alluxio底層存儲(chǔ)管理與拓展、Alluxio Job Service的工作原理、Alluxio的系統(tǒng)配置優(yōu)化、Alluxio與云原生環(huán)境的集成、Alluxio Hub 系統(tǒng)運(yùn)維管理平臺(tái)、Alluxio的應(yīng)用案例與生產(chǎn)實(shí)踐、Alluxio的開(kāi)源社區(qū)開(kāi)發(fā)者指南。

分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)——ALLUXIO原理、技術(shù)與實(shí)踐 目錄

前言
第1章　Alluxio總體介紹與快速入門(mén)1
1.1　Alluxio的發(fā)展背景與系統(tǒng)概覽1
1.1.1　Alluxio Master組件4
1.1.2　Alluxio Worker組件6
1.1.3　Alluxio Job Service組件7
1.1.4　數(shù)據(jù)讀寫(xiě)流程7
1.2　 Alluxio配置部署與程序運(yùn)行11
1.2.1　獲取/編譯Alluxio系統(tǒng)11
1.2.2　單機(jī)模式安裝部署13
1.2.3　集群模式安裝部署14
1.2.4　Alluxio服務(wù)啟停操作15
第2章　Alluxio的核心功能服務(wù)18
2.1　文件系統(tǒng)統(tǒng)一命名空間18
2.1.1　統(tǒng)一命名空間概覽18
2.1.2　掛載底層存儲(chǔ)系統(tǒng)19
2.1.3　與底層存儲(chǔ)系統(tǒng)元數(shù)據(jù)同步20
2.1.4　使用示例21
2.2　層級(jí)存儲(chǔ)與數(shù)據(jù)緩存22
2.2.1　存儲(chǔ)結(jié)構(gòu)概覽22
2.2.2　Alluxio層級(jí)存儲(chǔ)23
2.2.3　Alluxio的數(shù)據(jù)副本管理機(jī)制24
2.2.4　使用示例25
2.3　Alluxio與HDFS/POSIX接口存
　　 儲(chǔ)系統(tǒng)的集成26
2.3.1　HDFS底層存儲(chǔ)連接器的基本
　　 原理26
2.3.2　配置HDFS作為Alluxio的
　　 底層存儲(chǔ)27
2.3.3　配置CephFS作為Alluxio的
　　 底層存儲(chǔ)30
2.3.4　配置NFS作為Alluxio的底層
　　 存儲(chǔ)32
2.4　Alluxio與對(duì)象存儲(chǔ)系統(tǒng)的集成32
2.4.1　對(duì)象類(lèi)型底層存儲(chǔ)連接器的
　　 基本原理32
2.4.2　配置AWS S3作為Alluxio的
　　 底層存儲(chǔ)34
2.4.3　配置阿里云OSS作為Alluxio
　　 的底層存儲(chǔ)35
2.4.4　配置Apache Ozone作為Alluxio
　　 的底層存儲(chǔ)37
2.4.5　配置Swift作為Alluxio的底層
　　　存儲(chǔ)38
2.5　新增底層存儲(chǔ)連接模塊的集成
　 　方法39
2.5.1　客戶端常見(jiàn)操作與底層存儲(chǔ)
　　 連接器的交互39
2.5.2　底層存儲(chǔ)連接器的加載機(jī)制41
2.5.3　底層存儲(chǔ)連接器的管理方式42
2.5.4　新增底層存儲(chǔ)連接器的示例43
2.6　 Alluxio與大數(shù)據(jù)計(jì)算框架的集成45
2.6.1　與Apache Spark并行計(jì)算
　　 框架集成45
2.6.2　與Kubernetes中的Spark并
　　 行計(jì)算框架集成48
2.6.3　與Apache Flink并行計(jì)算
　　 框架集成51
2.7　 Alluxio與大數(shù)據(jù)查詢系統(tǒng)的集成52
2.7.1　與Hive數(shù)據(jù)倉(cāng)庫(kù)集成52
2.7.2　與Presto數(shù)據(jù)倉(cāng)庫(kù)集成59
2.8　 Alluxio與深度學(xué)習(xí)框架的集成63
第3章　Alluxio的基本使用與
　　　　運(yùn)維操作67
3.1　Alluxio的重要操作命令67
3.1.1　管理員操作命令67
3.1.2　用戶操作命令72
3.1.3　常用的編程API86
3.1.4　Web界面展示與操作88
3.2　Alluxio的掛載點(diǎn)運(yùn)維94
3.3　Alluxio的元數(shù)據(jù)同步和備份運(yùn)維95
3.3.1　元數(shù)據(jù)同步的配置95
3.3.2　自動(dòng)/手動(dòng)生成備份和從備份
　　 恢復(fù)集群96
3.4　Journal日志和高可用運(yùn)維98
3.4.1　UFS Journal模式配置方式99
3.4.2　Embedded Journal模式配置
　　 方式100
3.4.3　自動(dòng)/手動(dòng)生成Checkpoint102
3.4.4　高可用集群的部署與配置
　　 更改103
3.4.5　Master節(jié)點(diǎn)的添加/移除和
　　 Primary Master的切換104
3.4.6　客戶端配置連接高可用
　　 Master106
3.5　Alluxio的不同配置方式108
3.5.1　Alluxio的配置方式和生效
　　 優(yōu)先級(jí)108
3.5.2　Alluxio客戶端配置方式111
3.5.3　Alluxio集群配置方式112
3.5.4　查看配置項(xiàng)112
3.6　Alluxio的Log日志運(yùn)維113
3.6.1　Log日志位置113
3.6.2　改變Log日志等級(jí)114
3.6.3　Alluxio的集群指標(biāo)116
3.7　Job Service使用和查詢運(yùn)維118
3.7.1　用命令行查詢作業(yè)狀態(tài)118
3.7.2　作業(yè)執(zhí)行Log 日志跟蹤119
3.8　Alluxio的安全認(rèn)證與權(quán)限控制119
3.8.1　安全認(rèn)證模式120
3.8.2　 訪問(wèn)權(quán)限控制120
3.8.3　 用戶模擬功能123
3.8.4　審計(jì)日志功能124
第4章　Alluxio元數(shù)據(jù)管理與主
　　　　節(jié)點(diǎn)原理126
4.1　Alluxio Master核心功能概覽126
4.2　Master組件的元數(shù)據(jù)管理128
4.2.1　Master對(duì)元數(shù)據(jù)的管理128
4.2.2　文件/數(shù)據(jù)塊元數(shù)據(jù)示例130
4.2.3　元數(shù)據(jù)存儲(chǔ)在堆上—HEAP
　　 模式134
4.2.4　元數(shù)據(jù)存儲(chǔ)在堆外—ROCKS
　　 模式135
4.3　Alluxio的統(tǒng)一命名空間和底層存
　　 儲(chǔ)管理137
4.3.1　Alluxio的數(shù)據(jù)掛載功能137
4.3.2　Alluxio的文件生命周期139
4.3.3　Alluxio的一致性模型140
4.3.4　Alluxio與底層存儲(chǔ)的元數(shù)據(jù)/
　　 數(shù)據(jù)同步145
4.4　Journal日志和高可用152
4.4.1　Alluxio的元數(shù)據(jù)狀態(tài)和重要
　　 性質(zhì)152
4.4.2　Alluxio的Journal日志內(nèi)容155
4.4.3　Journal日志的Checkpoint操作156
4.4.4　基于底層存儲(chǔ)的UFS Journal
　　 模式156
4.4.5　基于Raft協(xié)議的Embedded
　　 Journal模式162
4.4.6　UFS Journal和Embedded
　　 Journal之間的切換與選擇166
4.5　元數(shù)據(jù)備份功能168
4.5.1　元數(shù)據(jù)備份原理168
4.5.2　元數(shù)據(jù)備份解決的兼容問(wèn)題168
4.5.3　在高可用集群中的代理備份
　　 功能169
4.5.4　備份操作和Journal日志的
　　 Checkpoint操作的區(qū)別170
4.6　Alluxio Master的Worker管理
　　 機(jī)制171
4.6.1　Alluxio Worker的注冊(cè)與心跳171
4.6.2　在集群中加入和移除Alluxio
　　 Worker172
4.6.3　Alluxio Master的可用Worker
　　 列表管理173
4.7　主節(jié)點(diǎn)的元數(shù)據(jù)并發(fā)機(jī)制173
4.7.1　文件路徑并發(fā)控制173
4.7.2　Journal日志并發(fā)控制176
4.7.3　Worker相關(guān)元數(shù)據(jù)并發(fā)控制176
第5章　Alluxio數(shù)據(jù)存儲(chǔ)的核心特
　　　　性與原理178
5.1　Alluxio Worker組件概覽178
5.1.1　Alluxio Worker數(shù)據(jù)管理簡(jiǎn)介178
5.1.2　Worker的發(fā)展方向179
5.1.3　Worker對(duì)外開(kāi)放的服務(wù)接口179
5.2　Alluxio系統(tǒng)中的數(shù)據(jù)I/O180
5.2.1　Alluxio的數(shù)據(jù)讀模式詳解180
5.2.2　Alluxio的數(shù)據(jù)寫(xiě)模式詳解182
5.2.3　本地讀寫(xiě)的優(yōu)化184
5.3　Alluxio系統(tǒng)中數(shù)據(jù)塊的生命周期
　　和管理186
5.3.1　數(shù)據(jù)塊的加載和刪除187
5.3.2　數(shù)據(jù)塊的寫(xiě)入和持久化187
5.3.3　數(shù)據(jù)塊的鎖定和解鎖188
5.3.4　數(shù)據(jù)塊的副本控制188
5.3.5　數(shù)據(jù)塊的TTL控制189
5.4　Alluxio Worker的分層緩存190
5.4.1　分層緩存的設(shè)計(jì)190
5.4.2　使用單層緩存191
5.4.3　使用多層緩存192
5.4.4　緩存分配機(jī)制192
5.4.5　緩存驅(qū)逐機(jī)制193
5.4.6　多層緩存的管理機(jī)制195
5.5　Alluxio Worker的并發(fā)和流量
　　 控制機(jī)制197
5.5.1　數(shù)據(jù)塊鎖197
5.5.2　數(shù)據(jù)塊的原子提交197
5.5.3　數(shù)據(jù)讀寫(xiě)的流量控制197
5.6　代碼實(shí)戰(zhàn)—自定義緩存分配
　　 策略198
第6章　Alluxio客戶端與Job
　　　　Service的原理200
6.1　Alluxio的原生客戶端201
6.1.1　Alluxio原生客戶端的總體
　　 原理201
6.1.2　客戶端與主節(jié)點(diǎn)的通信方式203
6.1.3　客戶端側(cè)的塊位置選取策略204
6.2　Alluxio的Hadoop兼容客戶端205
6.2.1　Hadoop兼容文件系統(tǒng)的
　　 Alluxio實(shí)現(xiàn)206
6.2.2　大數(shù)據(jù)生態(tài)應(yīng)用Alluxio206
6.3　Alluxio的POSIX客戶端207
6.3.1　JNI-FUSE模塊208
6.3.2　啟動(dòng)流程209
6.3.3　FUSE Shell209
6.3.4　適用場(chǎng)景210
6.4　Alluxio Proxy服務(wù)210
6.4.1　S3 API210
6.4.2　REST API211
6.5　Alluxio系統(tǒng)的Shell命令行211
6.6　Alluxio Job Service概覽和整體
　　 架構(gòu)212
6.6.1　Job Service組件功能介紹212
6.6.2　Job Service的發(fā)展方向212
6.6.3　Job Service對(duì)外開(kāi)放的接口213
6.7　Alluxio Job Service的異步作業(yè)
　　 分類(lèi)213
6.8　Alluxio Job Service的優(yōu)化功能216
6.9　Alluxio Job Master管理的元數(shù)據(jù)217
6.10　Alluxio Job Service高可用和Job
　　 Worker管理217
6.10.1　Job Master的高可用217
6.10.2　Job Master對(duì)Job Worker的
　　 管理218
6.11　代碼實(shí)戰(zhàn)219
6.11.1　Alluxio Shell拓展實(shí)現(xiàn)219
6.11.2　塊位置選擇策略拓展實(shí)現(xiàn)219
6.11.3　Job Service自定義作業(yè)拓展
　　 實(shí)現(xiàn)220
第7章　Alluxio系統(tǒng)性能深度調(diào)優(yōu)222
7.1　Alluxio的推薦系統(tǒng)配置及測(cè)算
　　 方法222
7.1.1　Alluxio文件系統(tǒng)規(guī)模觀測(cè)222
7.1.2　Alluxio Master進(jìn)程推薦配置225
7.1.3　Alluxio Worker進(jìn)程推薦配置228
7.1.4　Alluxio Job Master進(jìn)程推薦
　　 配置230
7.1.5　Alluxio Job Worker進(jìn)程推薦
　　 配置230
7.2　Alluxio常見(jiàn)的性能問(wèn)題及解決
　　 方案231
7.2.1　讀性能差231
7.2.2　寫(xiě)性能差234
7.2.3　服務(wù)資源占用高235
7.2.4　請(qǐng)求超時(shí)236
7.3　Alluxio Master調(diào)優(yōu)238
7.3.1　元數(shù)據(jù)調(diào)優(yōu)238
7.3.2　Journal日志性能調(diào)優(yōu)239
7.3.3　UFS元數(shù)據(jù)緩存240
7.3.4　元數(shù)據(jù)同步調(diào)優(yōu)240
7.3.5　Alluxio Master的Worker管理
　　 調(diào)優(yōu)241
7.3.6　RPC并發(fā)調(diào)優(yōu)244
7.3.7　心跳線程調(diào)優(yōu)245
7.4　Alluxio Worker調(diào)優(yōu)245
7.4.1　異步緩存調(diào)優(yōu)245
7.4.2　RPC并發(fā)調(diào)優(yōu)246
7.4.3　UFS數(shù)據(jù)流緩存246
7.5　Job Service調(diào)優(yōu)247
7.5.1　Job Service吞吐量調(diào)優(yōu)247
7.5.2　Job Service并發(fā)調(diào)優(yōu)247
7.6　客戶端調(diào)優(yōu)248
7.6.1　Alluxio Worker選取策略調(diào)優(yōu)248
7.6.2　被動(dòng)緩存策略調(diào)優(yōu)249
7.6.3　Commit操作優(yōu)化249
7.6.4　重試操作調(diào)優(yōu)251
7.6.5　Keepalive調(diào)優(yōu)252
7.6.6　其他客戶端配置調(diào)優(yōu)252
7.7　性能壓力測(cè)試252
7.7.1　壓力測(cè)試的目的和工具252
7.7.2　Alluxio的壓力測(cè)試框架
　　 StressBench253
7.7.3　StressBench提供的測(cè)試內(nèi)容254
第8章　Alluxio與云原生環(huán)境的
　　　　集成256
8.1　Kubernetes中的Alluxio集群架構(gòu)256
8.2　Alluxio集群的部署258
8.2.1　部署的準(zhǔn)備工作258
8.2.2　Alluxio集群的基礎(chǔ)配置261
8.2.3　集群的部署和驗(yàn)證263
8.3　Alluxio集群的進(jìn)階配置266
8.3.1　Master節(jié)點(diǎn)的Journal日志266
8.3.2　Master節(jié)點(diǎn)的高可用配置267
8.3.3　使用RocksDB作為元數(shù)據(jù)
　　 存儲(chǔ)267
8.3.4　配置Alluxio Worker多層緩存268
8.3.5　配置底層文件系統(tǒng)270
8.4　配置Alluxio使用Kubernetes高級(jí)
　　 功能271
8.5　Alluxio的其他Kubernetes部署
　　 架構(gòu)274
8.5.1　在Kubernetes中部署使用
　　 Alluxio FUSE274
8.5.2　通過(guò)Kubernetes CSI使用
　　 Alluxio FUSE276
8.6　Kubernetes環(huán)境下的讀寫(xiě)性能
　　 優(yōu)化278
8.6.1　讀寫(xiě)本地性優(yōu)化278
8.6.2　使用宿主機(jī)資源優(yōu)化性能280
8.6.3　Alluxio和不同生命周期的應(yīng)
　　 用集成281
第9章　Alluxio在混合云場(chǎng)景中
　　　　的應(yīng)用282
9.1　混合云業(yè)務(wù)場(chǎng)景和常見(jiàn)挑戰(zhàn)282
9.2　Alluxio與傳統(tǒng)方案對(duì)比分析283
9.2.1　方案一：將數(shù)據(jù)從本地復(fù)制
　　 到云存儲(chǔ)以運(yùn)行分析283
9.2.2　方案二：使用NetApp ONTAP
　　 或AWS DataSync等托管服務(wù)284
9.2.3　方案三：使用Alluxio數(shù)據(jù)編
　　 排技術(shù)的解決方案284
9.3　混合云上的Alluxio解決方案
　　　架構(gòu)285
9.3.1　Alluxio架構(gòu)原理回顧285
9.3.2　云上計(jì)算集群搭配部署Alluxio
　　 的架構(gòu)286
9.3.3　節(jié)點(diǎn)的生命周期選擇287
9.3.4　數(shù)據(jù)中心鏈路287
9.3.5　安全288
9.3.6　遷移到混合云架構(gòu)的幾大步驟288
9.4　基準(zhǔn)測(cè)試288
9.4.1　測(cè)試集群架構(gòu)289
9.4.2　測(cè)試方案和配置290
9.4.3　測(cè)試結(jié)果291
9.4.4　測(cè)試結(jié)果分析293
9.5　案例294
9.5.1　混合云案例1：華爾街大型
　　 量化基金公司294
9.5.2　混合云案例2：某知名電信
　　 公司295
9.6　Alluxio在某科技巨頭的應(yīng)用296
9.6.1　案例概覽296
9.6.2　云化之路和挑戰(zhàn)297
9.6.3　解決方案：賦能混合云和多云
　　 架構(gòu)，實(shí)現(xiàn)應(yīng)用靈活可移植298
9.6.4　成效：顯著的商業(yè)價(jià)值和技術(shù)
　　 優(yōu)勢(shì)299
9.6.5　展望未來(lái)：下一代數(shù)據(jù)平臺(tái)301
9.7　結(jié)論301
第10章　Alluxio在大數(shù)據(jù)分析場(chǎng)
　　　　 景中的應(yīng)用303
10.1　Presto和Alluxio結(jié)合的架構(gòu)及
　　 原理303
10.2　Presto與Alluxio搭配部署的架
　　 構(gòu)優(yōu)勢(shì)305
10.2.1　Alluxio幫助企業(yè)將數(shù)據(jù)平臺(tái)
　 　 升級(jí)為混合云數(shù)據(jù)湖305
10.2.2　Alluxio支持跨多個(gè)數(shù)據(jù)源的
　 　 統(tǒng)一數(shù)據(jù)訪問(wèn)305
10.2.3　Alluxio使用通用緩存解決方
　 　 案加速整個(gè)數(shù)據(jù)工作流306
10.3　常見(jiàn)應(yīng)用場(chǎng)景和案例研究307
10.3.1　單一云上的大數(shù)據(jù)分析：在任
　 　 何云存儲(chǔ)上實(shí)現(xiàn)快速的SQL307
10.3.2　混合云上的大數(shù)據(jù)分析：簡(jiǎn)
　 　 化上云過(guò)程308
10.3.3　跨數(shù)據(jù)中心分析：無(wú)處不在
　 　 的高性能分析309
10.4　混合云架構(gòu)中的基準(zhǔn)測(cè)試性能309
10.5　某公司金融數(shù)據(jù)團(tuán)隊(duì)的Presto
　　　 Alluxio場(chǎng)景310
10.5.1　大數(shù)據(jù)OLAP分析面臨的
　 　 挑戰(zhàn)311
10.5.2　一種常見(jiàn)的解決方案311
10.5.3　Alluxio：一個(gè)兼顧性能和自
　 　 動(dòng)化管理的更優(yōu)解312
10.5.4　新的挑戰(zhàn)313
10.5.5　*終架構(gòu)315
10.5.6　線上運(yùn)行效果315
10.5.7　總結(jié)展望317
10.6　金山云基于Alluxio加速Presto
　　　 查詢的性能評(píng)估317
10.6.1　測(cè)試環(huán)境317
10.6.2　理想條件下的Alluxio加速
　 　 表現(xiàn)319
10.6.3　影響加速收益的重要因素320
10.6.4　本測(cè)試的意義327
10.6.5　Alluxio使用和優(yōu)化建議328
第11章　Alluxio在ETL場(chǎng)景中
　　　　的應(yīng)用329
11.1　Spark和Alluxio結(jié)合的架構(gòu)及
　　　原理329
11.2　ETL場(chǎng)景中搭配部署Alluxio的
　　　架構(gòu)優(yōu)勢(shì)330
11.2.1　技術(shù)優(yōu)勢(shì)331
11.2.2　商業(yè)價(jià)值335
11.3　案例研究336
11.3.1　通過(guò)從預(yù)處理到訓(xùn)練階段的
　 　 數(shù)據(jù)共享提高模型訓(xùn)練效率336
11.3.2　混合云分析：計(jì)算引擎在云
　 　 上，數(shù)據(jù)存儲(chǔ)在本地337
11.4　性能基準(zhǔn)測(cè)試和成本節(jié)約測(cè)算337
11.4.1　測(cè)試規(guī)格338
11.4.2　測(cè)試結(jié)果338
11.4.3　云上計(jì)算集群使用臨時(shí)實(shí)例
　 　 的成本優(yōu)化方案338
11.5　Alluxio在某知名大型企業(yè)的
　　　應(yīng)用340
11.5.1　分布式緩存提升性能340
11.5.2　存算分離實(shí)現(xiàn)彈性擴(kuò)容342
第12章　Alluxio在AI/ML場(chǎng)景中
　　　　的應(yīng)用344
12.1　AI/ML模型訓(xùn)練對(duì)數(shù)據(jù)平臺(tái)
　　　的常見(jiàn)需求344
12.2　Alluxio與傳統(tǒng)方案的對(duì)比分析345
12.2.1　方案1：在本地存儲(chǔ)數(shù)據(jù)
　 　 副本345
12.2.2　方案2：直接訪問(wèn)云存儲(chǔ)346
12.2.3　方案3：使用Alluxio347
12.2.4　三種方案的對(duì)比349
12.3　性能測(cè)試351
12.3.1　測(cè)試架構(gòu)351
12.3.2　測(cè)試規(guī)格352
12.3.3　測(cè)試結(jié)果352
12.4　場(chǎng)景總結(jié)354
12.5　Alluxio在嗶哩嗶哩機(jī)器學(xué)習(xí)場(chǎng)
　　　景中的應(yīng)用355
12.5.1　技術(shù)挑戰(zhàn)和解決方案分析356
12.5.2　生產(chǎn)環(huán)境中的*佳實(shí)踐經(jīng)驗(yàn)358
12.5.3　落地過(guò)程中的Alluxio調(diào)優(yōu)360
12.5.4　實(shí)際場(chǎng)景下Alluxio的性能
　　　表現(xiàn)361
12.6　云知聲Atlas超算平臺(tái)——基于
　　　Fluid Alluxio的計(jì)算加速實(shí)踐362
12.6.1　Atlas超算平臺(tái)架構(gòu)363
12.6.2　Atlas早期遇到的問(wèn)題和解決
　　　方案363
12.6.3　Atlas Fluid Alluxio的架構(gòu)
　　　選型與優(yōu)勢(shì)364
12.6.4　基于Atlas全新架構(gòu)的性能
　　　實(shí)驗(yàn)367
12.6.5　收益總結(jié)與未來(lái)展望369
附錄：如何貢獻(xiàn)開(kāi)源項(xiàng)目——以
　　　Alluxio為例371
參考文獻(xiàn)377
展開(kāi)全部

分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)——ALLUXIO原理、技術(shù)與實(shí)踐 相關(guān)資料

*Alluxio作為大數(shù)據(jù)和AI的基礎(chǔ)軟件，我見(jiàn)證了它從零到一發(fā)展的過(guò)程，以及開(kāi)源社區(qū)從星星之火到逐漸投入中國(guó)眾多大型公司實(shí)際生產(chǎn)中的過(guò)程。讓人驚喜的是，雖然Alluxio進(jìn)入中國(guó)市場(chǎng)時(shí)間不長(zhǎng)，但已經(jīng)有了豐富的中國(guó)企業(yè)運(yùn)用Alluxio的案例，可見(jiàn)開(kāi)源軟件以及大數(shù)據(jù)AI技術(shù)在中國(guó)已經(jīng)得到了長(zhǎng)足的發(fā)展。
——李開(kāi)復(fù) 創(chuàng)新工場(chǎng)董事長(zhǎng)兼首席執(zhí)行官 *Alluxio是數(shù)據(jù)行業(yè)中非常重要的創(chuàng)新型開(kāi)源軟件，對(duì)大數(shù)據(jù)和人工智能都有很強(qiáng)的推進(jìn)作用。這本書(shū)是Alluxio多年實(shí)踐的階段性成果總結(jié)，也是喜愛(ài)Alluxio的大數(shù)據(jù)行業(yè)從業(yè)人員的實(shí)用寶典，更是開(kāi)源軟件和大數(shù)據(jù)人工智能基礎(chǔ)設(shè)施行業(yè)的一本重要的指導(dǎo)性書(shū)籍。
——張銘 北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授，中國(guó)計(jì)算機(jī)學(xué)會(huì)杰出教育獎(jiǎng)獲得者 *Alluxio是一款知名的開(kāi)源分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)。顧榮、劉嘉承、毛寶龍編著的這本書(shū)在介紹Alluxio的同時(shí)，深入講解了分布式文件系統(tǒng)的重要原理，既是一本開(kāi)源分布式文件系統(tǒng)技術(shù)書(shū)籍，也是一本高校大數(shù)據(jù)系統(tǒng)方向的實(shí)用性教材，相信對(duì)推動(dòng)計(jì)算機(jī)系統(tǒng)教育和開(kāi)源軟件發(fā)展有益處。
——袁春風(fēng) 南京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授，中國(guó)計(jì)算機(jī)學(xué)會(huì)杰出教育獎(jiǎng)獲得者 *作為一名計(jì)算機(jī)軟件領(lǐng)域的科研工作者，我非常高興地見(jiàn)證了北京大學(xué)的杰出校友李浩源博士過(guò)去十余年來(lái)在大數(shù)據(jù)系統(tǒng)軟件領(lǐng)域取得的卓越成就，特別是他創(chuàng)立了Alluxio——這一已經(jīng)在世界范圍內(nèi)產(chǎn)生很大影響力的開(kāi)源軟件。這本書(shū)匯集了李浩源博士及本書(shū)作者在內(nèi)的團(tuán)隊(duì)多年來(lái)大量珍貴的知識(shí)沉淀、經(jīng)驗(yàn)積累、實(shí)操深耕和案例分享，是一本不可多得的優(yōu)秀書(shū)籍，適合大數(shù)據(jù)、系統(tǒng)軟件和開(kāi)源軟件領(lǐng)域的學(xué)生、教師、研究人員和其他相關(guān)從業(yè)人員閱讀。
——劉譞哲 北京大學(xué)信息科學(xué)技術(shù)學(xué)院長(zhǎng)聘副教授、博士生導(dǎo)師 *Adobe將Alluxio產(chǎn)品作為我們多云企業(yè)數(shù)據(jù)和分析平臺(tái)的聯(lián)合數(shù)據(jù)訪問(wèn)層的一部分。它是我們 ML/AI 生態(tài)系統(tǒng)的核心產(chǎn)品。Alluxio為Adobe數(shù)據(jù)和分析社區(qū)提供了跨多個(gè)云訪問(wèn)和分析數(shù)據(jù)的能力，對(duì)于我們的大數(shù)據(jù)和人工智能核心架構(gòu)的幫助和提升，特別是對(duì)于多云的未來(lái)有很強(qiáng)的促進(jìn)作用。本書(shū)介紹了如何使用Alluxio和一些成功案例。
——牟斌 Adobe信息和數(shù)據(jù)服務(wù)副總裁


*新一代的應(yīng)用需要快速處理越來(lái)越多的數(shù)據(jù)。過(guò)去幾年，Alluxio脫穎而出，作為一個(gè)開(kāi)源分布式編排技術(shù)，受到廣大用戶和開(kāi)發(fā)者的歡迎。這是業(yè)界第一本對(duì)于Alluxio及其應(yīng)用場(chǎng)景給予全面而詳細(xì)介紹的技術(shù)書(shū)籍，如果你正在計(jì)劃或者進(jìn)行新一代的應(yīng)用部署，這本書(shū)值得一讀。
——范承工 MemVerge聯(lián)合創(chuàng)始人兼首席執(zhí)行官

分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)——ALLUXIO原理、技術(shù)與實(shí)踐 作者簡(jiǎn)介

*顧榮 南京大學(xué)特聘研究員，博導(dǎo)，F(xiàn)luid開(kāi)源項(xiàng)目社區(qū)主席，Alluxio開(kāi)源項(xiàng)目PMC成員。主要研究方向?yàn)榉植际骄W(wǎng)絡(luò)與計(jì)算，專(zhuān)注云計(jì)算與大數(shù)據(jù)系統(tǒng)，發(fā)表相關(guān)論文60余篇，包括一流會(huì)議/期刊USENIX ATC、VLDB、ICDE、 WWW、 VLDBJ、TPDS等。主持國(guó)家自然科學(xué)基金面上項(xiàng)目/青年項(xiàng)目、國(guó)家重點(diǎn)研發(fā)計(jì)劃子課題、中國(guó)博士后科學(xué)基金特別資助項(xiàng)目，以及大型企業(yè)創(chuàng)新基金項(xiàng)目等10余項(xiàng)，獲江蘇省科學(xué)技術(shù)一等獎(jiǎng)、江蘇省教學(xué)成果二等獎(jiǎng)、IEEE可擴(kuò)展計(jì)算委員會(huì)杰出早期職業(yè)學(xué)者獎(jiǎng)、中國(guó)計(jì)算機(jī)學(xué)會(huì)分布式計(jì)算與系統(tǒng)專(zhuān)委會(huì)青年創(chuàng)新先鋒、中國(guó)信通院OSCAR尖峰開(kāi)源人物獎(jiǎng)、阿里巴巴優(yōu)秀學(xué)術(shù)合作項(xiàng)目獎(jiǎng)、華為公司火花獎(jiǎng)、騰訊云價(jià)值專(zhuān)家獎(jiǎng)、南京大學(xué)青年五四獎(jiǎng)?wù)碌取?br />
*劉嘉承 Alluxio的資深開(kāi)發(fā)工程師，Alluxio開(kāi)源社區(qū)PMC成員和Maintainer，Alluxio元數(shù)據(jù)模塊技術(shù)負(fù)責(zé)人之一，在Alluxio的大規(guī)模場(chǎng)景優(yōu)化方面做了大量深入扎實(shí)的工作。主導(dǎo)推動(dòng)了Alluxio核心工程團(tuán)隊(duì)和中國(guó)社區(qū)的合作開(kāi)發(fā)，深度參與了Alluxio全球多個(gè)旗艦用戶/客戶場(chǎng)景中的落地，并為其在大規(guī)模安全生產(chǎn)過(guò)程中部署使用Alluxio保駕護(hù)航。

*毛寶龍 騰訊Alluxio開(kāi)源協(xié)同團(tuán)隊(duì)負(fù)責(zé)人，同時(shí)也是Alluxio開(kāi)源社區(qū)PMC成員和Maintainer及Apache Ozone社區(qū)Committer，是Alluxio開(kāi)源社區(qū)JNI-FUSE、Ozone、CephFS、COSN 等多個(gè)模塊的創(chuàng)建者和維護(hù)者，也是高低水位異步緩存清理服務(wù)、動(dòng)態(tài)配置更新框架、ratis-shell HA工具研發(fā)和集成等功能特性的開(kāi)發(fā)者。他多年持續(xù)參與 Alluxio、Ozone、HDFS、Ratis 等存儲(chǔ)領(lǐng)域開(kāi)源社區(qū)的研發(fā)工作，同時(shí)也將 Alluxio 等開(kāi)源技術(shù)廣泛應(yīng)用在多個(gè)知名互聯(lián)網(wǎng)公司。

暫無(wú)評(píng)論……
書(shū)友推薦
本類(lèi)暢銷(xiāo)
返回頂部
中圖網(wǎng)
在線客服