歡迎光臨中圖網(wǎng) 請 | 注冊
> >
大數(shù)據(jù)測試技術(shù)與實踐(全彩印刷)

大數(shù)據(jù)測試技術(shù)與實踐(全彩印刷)

出版社:人民郵電出版社出版時間:2021-10-01
開本: 16開 頁數(shù): 275
中 圖 價:¥82.6(7.0折) 定價  ¥118.0 登錄后可看到會員價
加入購物車 收藏
運費6元,滿39元免運費
?新疆、西藏除外
本類五星書更多>
買過本商品的人還買了

大數(shù)據(jù)測試技術(shù)與實踐(全彩印刷) 版權(quán)信息

大數(shù)據(jù)測試技術(shù)與實踐(全彩印刷) 本書特色

適讀人群 :大數(shù)據(jù)從業(yè)者 開發(fā)工程師 測試工程師 技術(shù)管理者 學術(shù)研究人員36位來自阿里、騰訊、百度、京東、字節(jié)跳動、網(wǎng)易、小米、奇虎360、貝殼、順豐等大廠工程師和技術(shù)管理者聯(lián)袂推薦。 通俗易懂,精選23個大數(shù)據(jù)測試要點,從零入手,多角度講解大數(shù)據(jù)測試。 內(nèi)容豐富,涵蓋4大技術(shù)主題,大數(shù)據(jù)開發(fā)、大數(shù)據(jù)測試、數(shù)據(jù)質(zhì)量與數(shù)據(jù)治理。 場景典型,深度剖析3個主流數(shù)據(jù)應(yīng)用場景,BI報表、風控模型和數(shù)據(jù)分析平臺的技術(shù)原理、工程架構(gòu),并輸出了全鏈路的質(zhì)量保障方案。

大數(shù)據(jù)測試技術(shù)與實踐(全彩印刷) 內(nèi)容簡介

本書全面系統(tǒng)地介紹了大數(shù)據(jù)的測試技術(shù)與質(zhì)量體系建設(shè)。本書共11章,~4章涵蓋認識大數(shù)據(jù),大數(shù)據(jù)技術(shù)生態(tài),數(shù)據(jù)倉庫的設(shè)計與構(gòu)建,以及大數(shù)據(jù)項目開發(fā)流程;第5~7章講解大數(shù)據(jù)測試方法、大數(shù)據(jù)測試實踐和數(shù)據(jù)質(zhì)量管理;第8~10章介紹大數(shù)據(jù)測試平臺實踐、數(shù)據(jù)治理平臺建設(shè),以及DataOps的理念與實踐;1章提供大數(shù)據(jù)測試學習路線。附錄列出了大數(shù)據(jù)技術(shù)經(jīng)典面試題。 本書適合想要了解大數(shù)據(jù)技術(shù)的讀者,以及想要學習和掌握大數(shù)據(jù)測試與大數(shù)據(jù)開發(fā)的從業(yè)者。通過閱讀本書,測試工程師可以系統(tǒng)地學習大數(shù)據(jù)技術(shù)基礎(chǔ)、大數(shù)據(jù)開發(fā)和大數(shù)據(jù)測試等知識;大數(shù)據(jù)開發(fā)工程師可以借鑒大數(shù)據(jù)質(zhì)量保障的方法,拓寬數(shù)據(jù)工程實踐的思路;技術(shù)專家和技術(shù)管理者可以了解大數(shù)據(jù)質(zhì)量保障體系、數(shù)據(jù)治理建設(shè)和DataOps實踐等內(nèi)容。

大數(shù)據(jù)測試技術(shù)與實踐(全彩印刷) 目錄

第1章 認識大數(shù)據(jù)/1
1.1 大數(shù)據(jù)概述/1
1.2 大數(shù)據(jù)的發(fā)展/2
1.3 大數(shù)據(jù)的應(yīng)用/4
1.3.1 互聯(lián)網(wǎng)領(lǐng)域/4
1.3.2 物流領(lǐng)域/5
1.3.3 教育領(lǐng)域/6
1.3.4 金融領(lǐng)域/7
1.3.5 電信領(lǐng)域/7
1.4 本章小結(jié)/8

第2章 大數(shù)據(jù)技術(shù)生態(tài)/9
2.1 大數(shù)據(jù)技術(shù)生態(tài)總覽/9
2.2 大數(shù)據(jù)采集技術(shù)/10
2.3 大數(shù)據(jù)存儲技術(shù)/10
2.3.1 分布式文件系統(tǒng):HDFS/10
2.3.2 海量數(shù)據(jù)列式存儲: HBase/13
2.3.3 其他數(shù)據(jù)存儲技術(shù)/18
2.4 大數(shù)據(jù)計算分析技術(shù)/19
2.4.1 批處理計算的基石:MapReduce/19
2.4.2 流計算的代表:Storm、Spark Streaming和Flink/21
2.4.3 OLAP引擎:Hive、Impala和Presto/24
2.5 大數(shù)據(jù)管理調(diào)度技術(shù)/30
2.5.1 分布式集群資源調(diào)度框架:YARN/30
2.5.2 容器集群管理系統(tǒng):Kubernetes/32
2.5.3 大數(shù)據(jù)的“動物園管理員”:ZooKeeper/33
2.5.4 常用的工作流調(diào)度平臺:Azkaban、Oozie和Airflow/34
2.6 大數(shù)據(jù)商業(yè)產(chǎn)品/36
2.7 本章小結(jié)/38

第3章 數(shù)據(jù)倉庫的設(shè)計與構(gòu)建/39
3.1 數(shù)據(jù)倉庫概述/39
3.1.1 什么是數(shù)據(jù)倉庫/39
3.1.2 數(shù)據(jù)倉庫的發(fā)展過程/41
3.1.3 數(shù)據(jù)倉庫與數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺的區(qū)別/43
3.2 數(shù)據(jù)倉庫設(shè)計/44
3.2.1 架構(gòu)分層設(shè)計/44
3.2.2 數(shù)據(jù)模型設(shè)計/46
3.3 數(shù)據(jù)倉庫構(gòu)建/50
3.3.1 數(shù)據(jù)倉庫的構(gòu)建方法與評價標準/50
3.3.2 數(shù)據(jù)倉庫實例/51
3.4 本章小結(jié)/58

第4章 大數(shù)據(jù)項目開發(fā)流程/59
4.1 大數(shù)據(jù)項目開發(fā)概覽/59
4.2 數(shù)據(jù)的采集與存儲/60
4.2.1 服務(wù)端日志采集/61
4.2.2 客戶端日志采集/62
4.2.3 數(shù)據(jù)同步/64
4.2.4 大數(shù)據(jù)存儲/66
4.3 大數(shù)據(jù)計算/67
4.4 大數(shù)據(jù)監(jiān)控/71
4.4.1 數(shù)據(jù)監(jiān)控/71
4.4.2 運維監(jiān)控/72
4.5 大數(shù)據(jù)項目開發(fā)案例/73
4.5.1 項目背景介紹/74
4.5.2 項目需求分析/74
4.5.3 項目開發(fā)流程/76
4.6 本章小結(jié)/83

第5章 大數(shù)據(jù)測試方法/84
5.1 大數(shù)據(jù)測試概述/84
5.1.1 什么是大數(shù)據(jù)測試/84
5.1.2 大數(shù)據(jù)測試與傳統(tǒng)數(shù)據(jù)測試/84
5.2 大數(shù)據(jù)測試類型/85
5.2.1 功能測試/85
5.2.2 性能測試/89
5.2.3 其他非功能性測試/93
5.3 大數(shù)據(jù)測試流程/94
5.4 大數(shù)據(jù)基準測試/96
5.4.1 大數(shù)據(jù)基準測試簡介/97
5.4.2 大數(shù)據(jù)基準測試的步驟/97
5.4.3 大數(shù)據(jù)基準測試工具/98
5.5 大數(shù)據(jù)ETL測試/100
5.5.1 大數(shù)據(jù)ETL測試類型/100
5.5.2 大數(shù)據(jù)ETL測試場景/103
5.5.3 大數(shù)據(jù)ETL測試工具/107
5.6 大數(shù)據(jù)測試總結(jié)/108
5.6.1 大數(shù)據(jù)測試中的典型問題/108
5.6.2 大數(shù)據(jù)測試經(jīng)驗總結(jié)/112
5.6.3 大數(shù)據(jù)測試面臨的挑戰(zhàn)/113
5.7 本章小結(jié)/113

第6章 大數(shù)據(jù)測試實踐/114
6.1 BI報表測試/114
6.1.1 BI工具簡介/114
6.1.2 Tableau簡介/115
6.1.3 BI報表測試實踐/120
6.2 數(shù)據(jù)挖掘產(chǎn)品測試/128
6.2.1 數(shù)據(jù)挖掘的定義和流程/128
6.2.2 數(shù)據(jù)挖掘產(chǎn)品簡介/129
6.2.3 數(shù)據(jù)挖掘產(chǎn)品測試實踐/130
6.3 用戶行為分析平臺測試/139
6.3.1 用戶行為分析平臺測試概覽/139
6.3.2 數(shù)據(jù)采集階段測試/140
6.3.3 實時數(shù)據(jù)處理階段測試/140
6.3.4 離線數(shù)據(jù)處理階段測試/153
6.3.5 數(shù)據(jù)查詢展示階段測試/153
6.4 本章小結(jié)/156

第7章 數(shù)據(jù)質(zhì)量管理/157
7.1 數(shù)據(jù)質(zhì)量管理概述/157
7.2 數(shù)據(jù)質(zhì)量管理流程/158
7.2.1 建立數(shù)據(jù)質(zhì)量管理辦法/159
7.2.2 制定數(shù)據(jù)標準/161
7.2.3 數(shù)據(jù)質(zhì)量自查評估/162
7.2.4 數(shù)據(jù)質(zhì)量問題修復/170
7.3 本章小結(jié)/173

第8章 大數(shù)據(jù)測試平臺實踐/174
8.1 大數(shù)據(jù)測試平臺背景/174
8.2 大數(shù)據(jù)測試的開源技術(shù)調(diào)研/175
8.2.1 great_expectations/176
8.2.2 WeBankFinTech Qualitis/178
8.3 大數(shù)據(jù)測試的商業(yè)方案分析/181
8.3.1 QuerySurge/182
8.3.2 RightData/184
8.4 從零開始搭建大數(shù)據(jù)測試平臺/186
8.4.1 需求分析/187
8.4.2 架構(gòu)設(shè)計/187
8.4.3 功能實現(xiàn)/189
8.4.4 頁面演示/196
8.4.5 總結(jié)和展望/201
8.5 本章小結(jié)/203

第9章 數(shù)據(jù)治理平臺建設(shè)/204
9.1 數(shù)據(jù)治理概述/204
9.1.1 數(shù)據(jù)治理的基本概念/204
9.1.2 數(shù)據(jù)治理的重要意義/205
9.1.3 數(shù)據(jù)治理面臨的主要挑戰(zhàn)/206
9.1.4 如何開展數(shù)據(jù)治理/206
9.2 數(shù)據(jù)治理平臺體系/207
9.3 元數(shù)據(jù)管理平臺/208
9.3.1 平臺產(chǎn)生背景/208
9.3.2 平臺架構(gòu)/208
9.3.3 模塊設(shè)計:數(shù)據(jù)采集/209
9.3.4 模塊設(shè)計:數(shù)據(jù)查詢/212
9.3.5 模塊設(shè)計:數(shù)據(jù)分析/214
9.4 數(shù)據(jù)質(zhì)量監(jiān)控平臺/219
9.4.1 平臺產(chǎn)生背景/219
9.4.2 平臺架構(gòu)/220
9.4.3 模塊設(shè)計:規(guī)則引擎/221
9.4.4 模塊設(shè)計:任務(wù)中心/230
9.4.5 模塊設(shè)計:報警系統(tǒng) /230
9.5 本章小結(jié)/232

第10章 DataOps的理念與實踐/233
10.1 DataOps概述/233
10.1.1 什么是DataOps/233
10.1.2 為什么需要DataOps/235
10.1.3 DataOps與DevOps、MLOps的聯(lián)系和區(qū)別/237
10.2 DataOps的能力與特性/239
10.2.1 數(shù)據(jù)工程/239
10.2.2 數(shù)據(jù)集成/240
10.2.3 數(shù)據(jù)安全和數(shù)據(jù)隱私保護/241
10.2.4 數(shù)據(jù)質(zhì)量/242
10.2.5 DataOps的4個特性/243
10.3 DataOps技術(shù)實踐/244
10.3.1 DataOps技術(shù)工具/245
10.3.2 數(shù)據(jù)管道技術(shù)示例/246
10.4 本章小結(jié)/253

第11章 大數(shù)據(jù)測試的學習路線和發(fā)展趨勢/254
11.1 為什么學習大數(shù)據(jù)測試/254
11.2 如何學習大數(shù)據(jù)測試/255
11.2.1 大數(shù)據(jù)測試的學習路線/255
11.2.2 大數(shù)據(jù)測試的技能圖譜/259
11.3 大數(shù)據(jù)測試的發(fā)展趨勢/269
11.4 本章小結(jié)/270

附錄 大數(shù)據(jù)技術(shù)經(jīng)典面試題/271
參考文獻/276

展開全部

大數(shù)據(jù)測試技術(shù)與實踐(全彩印刷) 作者簡介

艾輝,中國人民大學概率論與數(shù)理統(tǒng)計專業(yè)碩士,《機器學習測試入門與實踐》作者之一。目前,擔任融360技術(shù)總監(jiān),主要負責AI風控產(chǎn)品、用戶產(chǎn)品和基礎(chǔ)架構(gòu)的質(zhì)量保障工作。曾在阿里本地生活擔任高級技術(shù)經(jīng)理,負責用戶產(chǎn)品、新零售產(chǎn)品的質(zhì)量保障工作。擁有9年多的測試開發(fā)工作經(jīng)驗,曾多次受邀在行業(yè)技術(shù)大會(如MTSC、GITC、Top100、TiD、A2M和TICA等)上做主題分享。對大數(shù)據(jù)、機器學習測試技術(shù)有深刻理解,并長期專注于質(zhì)量保障與工程效能領(lǐng)域。 陳高飛,東北大學計算機技術(shù)專業(yè)碩士,《機器學習測試入門與實踐》作者之一。目前,擔任融360測試開發(fā)工程師,主要從事機器學習方向的測試開發(fā)工作。擅長白盒測試、大數(shù)據(jù)測試和模型測試,在工具平臺開發(fā)方面有豐富的實踐經(jīng)驗。 郝嶸,北京信息科技大學自動化專業(yè)碩士,《機器學習測試入門與實踐》作者之一。目前,擔任融360高級測試開發(fā)工程師,主要負責大數(shù)據(jù)方向的測試開發(fā)工作。擅長Python開發(fā)、大數(shù)據(jù)測試和機器學習測試,主導了多個工具平臺的開發(fā),在大數(shù)據(jù)質(zhì)量保障方面有豐富的實踐經(jīng)驗。 雷天鳴,哈爾濱理工大學計算機科學與技術(shù)專業(yè)碩士,《機器學習測試入門與實踐》作者之一。目前,擔任融360測試開發(fā)工程師,主要從事機器學習方向的測試開發(fā)工作。擅長大數(shù)據(jù)測試、特征測試和模型算法評測等,對金融風控業(yè)務(wù)有深刻理解。 李曼曼,融360高級測試開發(fā)工程師,《機器學習測試入門與實踐》作者之一。擁有近11年的測試開發(fā)工作經(jīng)驗,主導了多個工具平臺的開發(fā)和大型項目的測試工作。擅長白盒測試、性能測試、自動化測試、持續(xù)集成和工程效能,在大數(shù)據(jù)和特征模型測試方面有豐富的實踐經(jīng)驗。 馬綿,陜西科技大學網(wǎng)絡(luò)工程專業(yè)學士,融360測試開發(fā)工程師。目前主要從事服務(wù)端測試開發(fā)工作,擅長自動化測試、安全測試,在服務(wù)穩(wěn)定性保障方面有豐富的實踐經(jīng)驗。 孫冰妍,東北大學通信與信息系統(tǒng)專業(yè)碩士,融360測試開發(fā)工程師。目前主要從事服務(wù)端測試開發(fā)工作,擅長白盒測試、自動化測試、性能測試、安全測試和持續(xù)集成。參與了多個工具平臺的開發(fā),并主導了多個大型項目的測試工作。對大數(shù)據(jù)測試技術(shù)有深刻理解。 孫金娟,山西財經(jīng)大學計算機科學與技術(shù)專業(yè)學士,《機器學習測試入門與實踐》作者之一。目前,擔任融360測試開發(fā)工程師,有近9年的Java開發(fā)、測試開發(fā)工作經(jīng)驗。擅長大數(shù)據(jù)測試和工具平臺開發(fā),對機器學習、特征模型測試有深刻理解。 張咪,北京交通大學通信與信息系統(tǒng)專業(yè)碩士,《機器學習測試入門與實踐》作者之一。目前,擔任融360測試經(jīng)理,主要負責用戶產(chǎn)品的質(zhì)量保障工作,曾負責基礎(chǔ)架構(gòu)、SRE(Site Reliability Engineering,網(wǎng)站可靠性工程)等方面的測試開發(fā)工作。在自動化測試、服務(wù)穩(wěn)定性、專項測試和工程效能等方面有豐富的實踐經(jīng)驗,曾受邀在行業(yè)技術(shù)大會(如MTSC、A2M等)做主題分享。對大數(shù)據(jù)、機器學習測試有深刻的理解,并在這些領(lǐng)域擁有豐富的實踐經(jīng)驗。 張朋周,中國地質(zhì)大學計算機科學與技術(shù)專業(yè)碩士,《機器學習測試入門與實踐》作者之一。目前,擔任融360高級測試開發(fā)工程師,曾在百度從事搜索業(yè)務(wù)測試開發(fā),有近9年的開發(fā)測試工作經(jīng)驗。目前,主要負責機器學習方向的測試開發(fā)工作,主導了多個工具平臺的開發(fā),在數(shù)據(jù)質(zhì)量保障、模型評估平臺方面有豐富的實踐經(jīng)驗。

商品評論(0條)
暫無評論……
書友推薦
本類暢銷
編輯推薦
返回頂部
中圖網(wǎng)
在線客服