數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用 版權(quán)信息
- ISBN:9787302666998
- 條形碼:9787302666998 ; 978-7-302-66699-8
- 裝幀:平裝-膠訂
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>>
數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用 本書特色
《數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用》從核心技術(shù)和應(yīng)用實(shí)踐兩個角度,講述如何管理好數(shù)據(jù)資產(chǎn)、如何解決數(shù)據(jù)資產(chǎn)管理中面臨的諸多技術(shù)痛點(diǎn),幫助數(shù)據(jù)資產(chǎn)管理者、開發(fā)者架構(gòu)好數(shù)據(jù)服務(wù)的技術(shù)基礎(chǔ),從而幫助數(shù)據(jù)資產(chǎn)使用人員、數(shù)據(jù)分析師、經(jīng)營決策人員等快速地找到自己想要的數(shù)據(jù),讓數(shù)據(jù)可以發(fā)揮出更大的價(jià)值。
數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用 內(nèi)容簡介
《數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用》深入探討數(shù)據(jù)資產(chǎn)管理的核心技術(shù)與應(yīng)用,融入作者在大數(shù)據(jù)領(lǐng)域多年的豐富經(jīng)驗(yàn)!稊(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用》為讀者提供一套可以落地的數(shù)據(jù)資產(chǎn)管理框架,并詳解兩個基于該框架進(jìn)行數(shù)據(jù)資產(chǎn)管理的應(yīng)用案例,使讀者能更好地了解數(shù)據(jù)資產(chǎn)管理底層所涉及的眾多核心技術(shù),讓數(shù)據(jù)可以發(fā)揮出更大的價(jià)值!稊(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用》配套PPT課件、示例源代碼、作者微信群答疑服務(wù)。 全書共分10章,第1章主要讓讀者認(rèn)識數(shù)據(jù)資產(chǎn),了解數(shù)據(jù)資產(chǎn)相關(guān)的基礎(chǔ)概念,以及數(shù)據(jù)資產(chǎn)的發(fā)展情況。第2~8章主要介紹大數(shù)據(jù)時代數(shù)據(jù)資產(chǎn)管理所涉及的核心技術(shù),內(nèi)容包括元數(shù)據(jù)的采集與存儲、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量、數(shù)據(jù)監(jiān)控與告警、數(shù)據(jù)服務(wù)、數(shù)據(jù)權(quán)限與安全、數(shù)據(jù)資產(chǎn)管理架構(gòu)等。第9~10章主要從實(shí)戰(zhàn)的角度介紹數(shù)據(jù)資產(chǎn)管理技術(shù)的應(yīng)用實(shí)踐,包括如何對元數(shù)據(jù)進(jìn)行管理以發(fā)揮出數(shù)據(jù)資產(chǎn)的更大潛力,以及如何對數(shù)據(jù)進(jìn)行建模以挖掘出數(shù)據(jù)中更大的價(jià)值。 《數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用》適合數(shù)據(jù)資產(chǎn)管理者、數(shù)據(jù)資產(chǎn)管理初學(xué)者、數(shù)據(jù)應(yīng)用開發(fā)工程師、數(shù)據(jù)分析師、數(shù)據(jù)庫管理員、架構(gòu)師、產(chǎn)品經(jīng)理、技術(shù)經(jīng)理作為技術(shù)參考書,也適合高等院;蚋呗毟邔(shù)據(jù)資產(chǎn)管理相關(guān)課程的教學(xué)參考書。
數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用 目錄
1.1 數(shù)據(jù)資產(chǎn)的基本介紹 1
1.2 數(shù)據(jù)資產(chǎn)的分類 4
1.3 數(shù)據(jù)資產(chǎn)的價(jià)值評估 5
1.4 數(shù)據(jù)資產(chǎn)的質(zhì)量 6
1.5 數(shù)據(jù)資產(chǎn)的存儲 6
1.6 數(shù)據(jù)資產(chǎn)管理 9
1.7 數(shù)據(jù)資產(chǎn)管理的信息化建設(shè) 11
1.8 數(shù)據(jù)資產(chǎn)與人工智能 11
第 2 章 元數(shù)據(jù)的采集與存儲 13
2.1 Hive中的元數(shù)據(jù)采集 14
2.1.1 基于Hive Meta DB的元數(shù)據(jù)采集 14
2.1.2 基于Hive Catalog的元數(shù)據(jù)采集 18
2.1.3 基于Spark Catalog的元數(shù)據(jù)采集 21
2.2 Delta Lake中的元數(shù)據(jù)采集 29
2.2.1 基于Delta Lake自身設(shè)計(jì)來采集元數(shù)據(jù) 31
2.2.2 基于Spark Catalog來采集元數(shù)據(jù) 32
2.3 MySQL中的元數(shù)據(jù)采集 34
2.4 Apache Hudi中的元數(shù)據(jù)采集 41
2.4.1 基于Spark Catalog采集元數(shù)據(jù) 42
2.4.2 Hudi Timeline Meta Server 43
2.4.3 基于Hive Meta DB采集元數(shù)據(jù) 47
2.5 Apache Iceberg中的元數(shù)據(jù)采集 49
2.5.1 Iceberg的元數(shù)據(jù)設(shè)計(jì) 50
2.5.2 Iceberg元數(shù)據(jù)的采集 54
2.6 元數(shù)據(jù)的存儲模型設(shè)計(jì) 56
2.6.1 如何對元數(shù)據(jù)進(jìn)行整合 56
2.6.2 元數(shù)據(jù)的存儲模型設(shè)計(jì) 57
第 3 章 數(shù)據(jù)血緣 59
3.1 獲取數(shù)據(jù)血緣的技術(shù)實(shí)現(xiàn) 59
3.1.1 如何從Hive中獲取數(shù)據(jù)血緣 60
3.1.2 從Spark執(zhí)行計(jì)劃中獲取數(shù)據(jù)血緣 66
3.1.3 從Spark SQL語句中獲取數(shù)據(jù)血緣 82
3.1.4 從Flink中獲取數(shù)據(jù)血緣 91
3.1.5 從數(shù)據(jù)任務(wù)的編排系統(tǒng)中獲取數(shù)據(jù)血緣 92
3.2 數(shù)據(jù)血緣的存儲模型與展示設(shè)計(jì) 94
第 4 章 數(shù)據(jù)質(zhì)量的技術(shù)實(shí)現(xiàn) 98
4.1 質(zhì)量數(shù)據(jù)采集的技術(shù)實(shí)現(xiàn) 100
4.1.1 定義數(shù)據(jù)采集的規(guī)則 100
4.1.2 定時Job的技術(shù)選型 103
4.2 如何處理采集到的質(zhì)量數(shù)據(jù) 109
4.3 質(zhì)量數(shù)據(jù)的存儲模型設(shè)計(jì) 110
4.4 常見的開源數(shù)據(jù)質(zhì)量管理平臺 112
4.4.1 Apache Griffin 112
4.4.2 Qualitis 113
第 5 章 數(shù)據(jù)監(jiān)控與告警 116
5.1 數(shù)據(jù)監(jiān)控 116
5.1.1 數(shù)據(jù)監(jiān)控的種類 116
5.1.2 監(jiān)控?cái)?shù)據(jù)的特點(diǎn)與存儲方式 117
5.2 常見的數(shù)據(jù)監(jiān)控目標(biāo) 118
5.2.1 數(shù)據(jù)鏈路監(jiān)控 118
5.2.2 數(shù)據(jù)任務(wù)監(jiān)控 124
5.2.3 數(shù)據(jù)質(zhì)量監(jiān)控 125
5.2.4 數(shù)據(jù)服務(wù)監(jiān)控 125
5.2.5 數(shù)據(jù)處理資源監(jiān)控 126
5.3 Prometheus簡介 128
5.4 Grafana簡介 135
5.5 使用Grafana和Prometheus來實(shí)現(xiàn)數(shù)據(jù)監(jiān)控與告警 138
5.5.1 數(shù)據(jù)鏈路的告警實(shí)現(xiàn) 138
5.5.2 數(shù)據(jù)任務(wù)的告警實(shí)現(xiàn) 141
5.5.3 數(shù)據(jù)質(zhì)量的告警實(shí)現(xiàn) 142
5.5.4 數(shù)據(jù)服務(wù)的告警實(shí)現(xiàn) 142
5.5.5 數(shù)據(jù)處理資源的告警實(shí)現(xiàn) 143
第 6 章 數(shù)據(jù)服務(wù) 146
6.1 如何設(shè)計(jì)數(shù)據(jù)服務(wù) 146
6.1.1 數(shù)據(jù)源管理 148
6.1.2 數(shù)據(jù)服務(wù)的敏捷化和可配置化 148
6.1.3 數(shù)據(jù)服務(wù)文檔的自動生成 151
6.1.4 數(shù)據(jù)服務(wù)的統(tǒng)一認(rèn)證與鑒權(quán) 151
6.1.5 數(shù)據(jù)服務(wù)的監(jiān)控與告警 153
6.2 數(shù)據(jù)服務(wù)的性能 155
6.3 數(shù)據(jù)服務(wù)的熔斷與降級 159
第 7 章 數(shù)據(jù)權(quán)限與安全 163
7.1 常見的權(quán)限設(shè)計(jì)模式 163
7.1.1 基于角色的訪問控制 164
7.1.2 基于屬性的訪問控制 165
7.1.3 基于對象的訪問控制 165
7.2 數(shù)據(jù)權(quán)限 166
7.2.1 列權(quán)限控制 167
7.2.2 行權(quán)限控制 170
7.3 數(shù)據(jù)脫敏 171
7.4 數(shù)據(jù)安全 174
第 8 章 數(shù)據(jù)資產(chǎn)架構(gòu) 176
8.1 數(shù)據(jù)資產(chǎn)的架構(gòu)設(shè)計(jì) 177
8.1.1 數(shù)據(jù)獲取層 177
8.1.2 數(shù)據(jù)處理層 178
8.1.3 數(shù)據(jù)存儲層 180
8.1.4 數(shù)據(jù)管理層 182
8.1.5 數(shù)據(jù)分析層 182
8.1.6 數(shù)據(jù)服務(wù)層 183
8.2 常見的開源數(shù)據(jù)資產(chǎn)管理平臺 185
8.2.1 Apache Atlas 185
8.2.2 Data Hub 186
8.2.3 OpenMetadata 189
第 9 章 元數(shù)據(jù)管理實(shí)踐 193
9.1 如何理解元數(shù)據(jù) 194
9.1.1 為何需要元數(shù)據(jù) 194
9.1.2 如何讓元數(shù)據(jù)產(chǎn)生更大價(jià)值 195
9.1.3 元數(shù)據(jù)分類及其好處 196
9.1.4 元數(shù)據(jù)管理 198
9.1.5 參與角色 201
9.2 元數(shù)據(jù)管理 202
9.2.1 元數(shù)據(jù)模型的組織關(guān)系 202
9.2.2 元數(shù)據(jù)的采集 204
9.2.3 業(yè)務(wù)域設(shè)計(jì) 205
9.2.4 業(yè)務(wù)術(shù)語設(shè)計(jì) 209
9.2.5 元數(shù)據(jù)標(biāo)簽設(shè)計(jì) 212
9.2.6 數(shù)據(jù)Owner 214
9.2.7 數(shù)據(jù)生命周期 215
9.2.8 元數(shù)據(jù)注冊和發(fā)布 216
9.2.9 核心功能介紹 218
第 10 章 數(shù)據(jù)建模實(shí)踐 224
10.1 什么是數(shù)據(jù)建模 224
10.1.1 數(shù)據(jù)模型分類 224
10.1.2 數(shù)據(jù)建模方法 227
10.2 數(shù)據(jù)倉庫建模架構(gòu) 229
10.3 關(guān)系型數(shù)據(jù)建模 231
10.3.1 概念模型階段 231
10.3.2 邏輯模型階段 235
10.3.3 物理模型階段 238
10.4 維度建模 240
10.4.1 基本概念 240
10.4.2 維度表設(shè)計(jì) 246
10.4.3 事實(shí)表分類 250
10.4.4 基于維度建模的數(shù)據(jù)分析實(shí)踐 251
參考文獻(xiàn) 253
數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用 相關(guān)資料
福特中國新能源技術(shù)、數(shù)字化及整車硬件研發(fā)執(zhí)行總監(jiān) 陳兵 我相信,本書的出版將為廣大數(shù)據(jù)從業(yè)者、研究者和管理者提供寶貴的參考和借鑒。本書將幫助我們更好地理解數(shù)據(jù)資產(chǎn)和數(shù)據(jù)應(yīng)用的重要性和價(jià)值,推動我們在實(shí)踐中不斷探索和創(chuàng)新,共同開創(chuàng)數(shù)據(jù)治理和數(shù)據(jù)應(yīng)用的美好未來。 Apache DolphinScheduler PMC Chair、Apache SeaTunnel PMC 代立冬 我與本書的作者永清是因?yàn)楫?dāng)下十分流行的大數(shù)據(jù)工作流調(diào)度平臺Apache DolphinScheduler 開源項(xiàng)目結(jié)識的。永清是該項(xiàng)目的積極貢獻(xiàn)者,也是國內(nèi)開源社區(qū)的活躍參與者。國內(nèi)開源社區(qū)的發(fā)展需要眾多開發(fā)貢獻(xiàn)者的積極參與來壯大本土開源。希望開源社區(qū)能有更多像永清這樣的伙伴,將自己的技術(shù)和經(jīng)驗(yàn)以書籍的形式輸出,更好地服務(wù)大眾。 福特中國數(shù)字化高級經(jīng)理 周楊 本書從技術(shù)和實(shí)戰(zhàn)兩個角度很好的解決了大數(shù)據(jù)資產(chǎn)管理中面臨的諸多痛點(diǎn)問題,手把手指導(dǎo)企業(yè)或者組織對大數(shù)據(jù)資產(chǎn)的管理、分析和挖掘,從而更加深入的掌握市場走勢、提升自身產(chǎn)品的體驗(yàn)以及運(yùn)營效率,在產(chǎn)品競爭中能始終立于不敗之地。 Databricks高級架構(gòu)師 吳舒 我與永清認(rèn)識于2021年底,當(dāng)時的他正負(fù)責(zé)評估Databricks平臺的計(jì)算引擎和存儲介質(zhì)的接入,當(dāng)時我們一起探討測試過很多書中討論的技術(shù)內(nèi)容。這本書詳細(xì)探討了很多企業(yè)級數(shù)據(jù)平臺比較頭疼的問題——如何更好地管理數(shù)據(jù)與元數(shù)據(jù),尤其是像Databricks這樣有開源基因的商用SaaS平臺如何與其他開源技術(shù)更好的整合,以符合用戶的最終實(shí)際需要,這在業(yè)界是比較罕見的實(shí)操案例,而良好的數(shù)據(jù)管理是企業(yè)級生成式AI真正的護(hù)城河,相信這本實(shí)戰(zhàn)書籍能帶給讀者一些啟發(fā)。
數(shù)據(jù)資產(chǎn)管理核心技術(shù)與應(yīng)用 作者簡介
張永清,從事功能測試、自動化測試、性能測試、Java軟件開發(fā)、大數(shù)據(jù)開發(fā)、架構(gòu)師等工作十多年,在自動化測試設(shè)計(jì)、性能測試設(shè)計(jì)、性能診斷、性能調(diào)優(yōu)、分布式架構(gòu)設(shè)計(jì)等方面積累了多年經(jīng)驗(yàn)。參與過的系統(tǒng)涉及公安、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等領(lǐng)域。先后任職于江蘇飛搏軟件、蘇寧大數(shù)據(jù)研發(fā)中心、蘇寧研究院、蘇寧人工智能研發(fā)中心、紫金普惠研發(fā)中心、福特汽車工程研究有限公司,歷任測試經(jīng)理、技術(shù)經(jīng)理、部門經(jīng)理、高級架構(gòu)師等職位。重點(diǎn)關(guān)注大數(shù)據(jù)、圖像處理、高性能分布式架構(gòu)設(shè)計(jì)等領(lǐng)域。著有圖書《軟件性能測試、分析與調(diào)優(yōu)實(shí)踐之路(第2版)》《軟件性能測試、分析與調(diào)優(yōu)實(shí)踐之路》《Robot Framework自動化測試框架核心指南》。
- >
朝聞道
- >
莉莉和章魚
- >
小考拉的故事-套裝共3冊
- >
【精裝繪本】畫給孩子的中國神話
- >
推拿
- >
經(jīng)典常談
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
巴金-再思錄