書馨卡幫你省薪 2024個人購書報告 2024中圖網(wǎng)年度報告
歡迎光臨中圖網(wǎng) 請 | 注冊

大數(shù)據(jù)平臺運維(高級)

出版社：電子工業(yè)出版社出版時間：2021-12-01
開本： 16開 頁數(shù)： 276
中 圖 價:¥29.3(4.9折) 定價  ¥59.8 登錄后可看到會員價
加入購物車 收藏
運費6元，滿39元免運費
?新疆、西藏除外
溫馨提示：5折以下圖書主要為出版社尾貨，大部分為全新（有塑封/無塑封），個別圖書品相8-9成新、切口
有劃線標(biāo)記、光盤等附件不全詳細品相說明>>
本類五星書更多>
買過本商品的人還買了

大數(shù)據(jù)平臺運維(高級) 版權(quán)信息

大數(shù)據(jù)平臺運維(高級) 內(nèi)容簡介

本書為"1+X”職業(yè)技能等級證書配套教材，按國家"1+X”大數(shù)據(jù)平臺運維職業(yè)技能等級標(biāo)準(zhǔn)編寫。本書屬于大數(shù)據(jù)平臺運維初級教材，從大數(shù)據(jù)平臺運維工程師角度由淺入深、全方位地介紹大數(shù)據(jù)平臺運維的相關(guān)基礎(chǔ)知識和基本實操。本書共分6個部分18章，**部分為大數(shù)據(jù)平臺安裝，涉及平臺操作系統(tǒng)的使用、Hadoop平臺安裝、平臺基礎(chǔ)環(huán)境配置；第二部分為大數(shù)據(jù)平臺配置，涉及Hadoop文件參數(shù)配置、Hadoop集群運行；第三部分為大數(shù)據(jù)平臺組件的安裝與配置，涉及Hive、HBase、ZooKeeper、Sqoop和Flume組件的安裝與配置；第四部分為大數(shù)據(jù)平臺實施，涉及大數(shù)據(jù)平臺實施方案、培訓(xùn)方案；第五部分為大數(shù)據(jù)平臺監(jiān)控，涉及基于大數(shù)據(jù)平臺的監(jiān)控命令、監(jiān)控界面和報表、日志和告警信息監(jiān)控；第六部分為大數(shù)據(jù)運維綜合實戰(zhàn)案例，以實際項目為例介紹從平臺部署、數(shù)據(jù)業(yè)務(wù)采集、數(shù)據(jù)分析到數(shù)據(jù)可視化的整體基礎(chǔ)實施過程，并介紹了大數(shù)據(jù)平臺運維的常見故障及處理流程。 本書可作為中高職院校大數(shù)據(jù)及計算機類相關(guān)專業(yè)的教材，也可作為大數(shù)據(jù)平臺運維人員的參考用書。

大數(shù)據(jù)平臺運維(高級) 目錄

目錄 **部分 大數(shù)據(jù)平臺架構(gòu) 第1章 Hadoop集群選型 2 1.1 Hadoop 集群概述 2 1.1.1 Cloudera Hadoop發(fā)行版 CDH簡介 2 1.1.2 CDH 特性 3 1.1.3 CDH 版本演進 3 1.1.4 CDH 和 Apache Hadoop 對比 4 1.1.5 Cloudera Manager 簡介 4 1.2 Hadoop 集群硬件設(shè)計概述 5 1.3 大數(shù)據(jù)平臺硬件選型 6 1.4 集群硬件配置方案制定 7 1.5 大數(shù)據(jù)集群網(wǎng)絡(luò)方案設(shè)計 8 1.5.1 網(wǎng)絡(luò)平面設(shè)計 8 1.5.2 機架部署設(shè)計 8 1.5.3 Hadoop集群網(wǎng)絡(luò)規(guī)范 8 1.5.4 大數(shù)據(jù)集群網(wǎng)絡(luò)部署實例 10 1.6 大數(shù)據(jù)集群網(wǎng)絡(luò)高可用方案 設(shè)計 11 1.6.1 集群主機和角色分布 11 1.6.2 集群高可用方案設(shè)計 11 1.7 本章小結(jié) 12 第2章 Hadoop平臺架構(gòu)設(shè)計 13 2.1 Hadoop 集群節(jié)點高可用方案 規(guī)劃設(shè)計 13 2.2 Hadoop集群容量方案規(guī)劃 設(shè)計 14 2.2.1 小規(guī)模集群規(guī)劃設(shè)計 14 2.2.2 中等規(guī)模集群規(guī)劃設(shè)計 15 2.2.3 大規(guī)模集群規(guī)劃設(shè)計 16 2.3 Hadoop行業(yè)方案規(guī)劃設(shè)計 17 2.4 Hadoop企業(yè)方案規(guī)劃設(shè)計 21 2.4.1 企業(yè)大數(shù)據(jù)平臺易產(chǎn)生的 缺陷 21 2.4.2 企業(yè)大數(shù)據(jù)平臺架構(gòu)思想 22 2.4.3 企業(yè)大數(shù)據(jù)平臺能力需求 23 2.4.4 企業(yè)大數(shù)據(jù)平臺設(shè)計方案 24 2.5 本章小結(jié) 26 第3章 Hadoop組件部署規(guī)劃 27 3.1 Hadoop 集群組件選擇 27 3.1.1 CDH 集群 27 3.1.2 CDH 組件 28 3.2 Hadoop 集群版本選擇 32 3.3 Hadoop 生態(tài)組件的工作原理 32 3.3.1 生態(tài)體系 32 3.3.2 各層相關(guān)組件概念及原理 32 3.4 Hadoop 生態(tài)圈的發(fā)展趨勢 37 3.5 本章小結(jié) 37 第二部分 大數(shù)據(jù)平臺安全管理 第4章 大數(shù)據(jù)平臺安全體系 40 4.1 安全與認(rèn)證概述 40 4.1.1 安全要求 40 4.1.2 安全等級 41 4.1.3 認(rèn)證概述 41 4.2 Hadoop 安全背景 41 4.2.1 Hadoop 安全背景 41 4.2.2 Hadoop 安全架構(gòu) 42 4.2.3 Hadoop 安全機制 43 4.3 安全認(rèn)證 43 4.3.1 身份驗證協(xié)議(Kerberos) 43 4.3.2 Hadoop 安全機制的具體 實現(xiàn) 48 4.3.3 Hadoop 安全機制的應(yīng)用 場景 50 4.4 認(rèn)證方式 52 4.4.1 Kerberos 安全工件 52 4.4.2 Kerberos 主體 52 4.5 本章小結(jié) 53 第5章 大數(shù)據(jù)平臺安全實戰(zhàn) 54 5.1 Kerberos 安裝部署 54 5.1.1 集群環(huán)境準(zhǔn)備 55 5.1.2 Kerberos 安裝 55 5.2 HDFS 配置 Kerberos 60 5.2.1 創(chuàng)建認(rèn)證規(guī)則 60 5.2.2 認(rèn)證規(guī)則配置實現(xiàn) 60 5.2.3 創(chuàng)建 keytab 文件 61 5.2.4 部署 Kerberos keytab 文件 62 5.2.5 修改 HDFS 配置文件 62 5.2.6 啟動 NameNode 64 5.2.7 啟動 DataNode 65 5.3 YARN 配置 Kerberos 66 5.3.1 生成 keytab 66 5.3.2 修改 YARN 配置文件 67 5.3.3 啟動服務(wù) 69 5.3.4 測試 69 5.4 本章小結(jié) 70 第6章 大數(shù)據(jù)平臺治理 71 6.1 大數(shù)據(jù)數(shù)據(jù)資產(chǎn)概述 71 6.1.1 數(shù)據(jù)資產(chǎn)定義 71 6.1.2 數(shù)據(jù)資產(chǎn)管理五星模型 72 6.1.3 大數(shù)據(jù)資產(chǎn)管理框架 75 6.2 大數(shù)據(jù)平臺管理體系 76 6.2.1 大數(shù)據(jù)標(biāo)準(zhǔn)體系框架 76 6.2.2 大數(shù)據(jù)平臺關(guān)鍵技術(shù) 78 6.2.3 面向特定領(lǐng)域大數(shù)據(jù)參考 架構(gòu) 81 6.3 大數(shù)據(jù)的數(shù)據(jù)共享與開放 83 6.3.1 數(shù)據(jù)共享開放概述 83 6.3.2 政府?dāng)?shù)據(jù)開放共享發(fā)展 歷程 84 6.3.3 數(shù)據(jù)開放共享主要實現(xiàn) 方式 85 6.3.4 大數(shù)據(jù)開放共享困境 87 6.4 大數(shù)據(jù)安全與隱私保護 88 6.4.1 大數(shù)據(jù)安全與隱私問題 現(xiàn)狀 88 6.4.2 大數(shù)據(jù)安全技術(shù)總體視圖 89 6.4.3 開源大數(shù)據(jù)平臺安全方案 90 6.5 本章小結(jié) 92 第三部分 大數(shù)據(jù)平臺資源治理 第7章 大數(shù)據(jù)平臺資源治理 94 7.1 大數(shù)據(jù)平臺資源治理概述 94 7.1.1 資源統(tǒng)一管理與調(diào)度 94 7.1.2 資源管理調(diào)度模型框架 96 7.2 資源管理調(diào)度技術(shù)框架 99 7.2.1 Hadoop 資源管理調(diào)度架構(gòu) 99 7.2.2 YARN 資源隔離 101 7.2.3 YARN 資源調(diào)度策略 102 7.3 Spark 內(nèi)存管理模型 107 7.3.1 Spark 內(nèi)存管理模型概述 107 7.3.2 靜態(tài)資源管理模型 108 7.3.3 動態(tài)資源管理模型 110 7.4 本章小結(jié) 111 第8章 大數(shù)據(jù)平臺數(shù)據(jù)治理 112 8.1 數(shù)據(jù)治理綜述 112 8.2 數(shù)據(jù)治理標(biāo)準(zhǔn)及框架 114 8.2.1 數(shù)據(jù)管理能力成熟度評估 模型(DCMM) 114 8.2.2 GB/T 34960 數(shù)據(jù)治理規(guī)范 115 8.2.3 DAMA 數(shù)據(jù)管理理論框架 116 8.2.4 數(shù)據(jù)資產(chǎn)管理體系架構(gòu) 116 8.3 數(shù)據(jù)治理核心工具 117 8.3.1 數(shù)據(jù)模型管理工具 117 8.3.2 元數(shù)據(jù)管理工具 118 8.3.3 數(shù)據(jù)質(zhì)量管理工具 119 8.3.4 數(shù)據(jù)標(biāo)準(zhǔn)管理工具 120 8.3.5 主數(shù)據(jù)管理工具 121 8.3.6 數(shù)據(jù)安全管理工具 122 8.3.7 數(shù)據(jù)服務(wù)平臺工具 123 8.4 高校數(shù)據(jù)治理實踐 124 8.4.1 背景介紹 124 8.4.2 數(shù)據(jù)治理解決方案 125 8.5 本章小結(jié) 127 第四部分 大數(shù)據(jù)平臺優(yōu)化 第9章 Linux系統(tǒng)優(yōu)化 130 9.1 swap 分區(qū)優(yōu)化 130 9.1.1 swap 分區(qū)簡介 130 9.1.2 swap 分區(qū)的優(yōu)化 131 9.2 內(nèi)存分配策略調(diào)整 132 9.2.1 內(nèi)存分頁 132 9.2.2 臟頁 133 9.2.3 臟頁參數(shù)優(yōu)化 134 9.3 Socket 監(jiān)聽參數(shù)修改 134 9.3.1 什么是 Socket 134 9.3.2 Socket 讀寫緩沖區(qū)調(diào)優(yōu) 135 9.4 打開文件描述符的上限優(yōu)化 137 9.4.1 什么是文件描述符 137 9.4.2 可打開文件描述符的數(shù)目 優(yōu)化 137 9.5 Transparent Huge Pages 優(yōu)化 138 9.5.1 Transparent Huge Pages 簡介 138 9.5.2 Transparent Huge Pages 對 系統(tǒng)的影響 139 9.5.3 禁用 Transparent Huge Pages 139 9.6 本章小結(jié) 140 第10章 Hadoop應(yīng)用程序優(yōu)化 141 10.1 減少大量小文件輸入 141 10.1.1 HDFS 上的小文件問題 141 10.1.2 小文件問題解決方案 142 10.2 合理分配分布式緩存 143 10.2.1 分布式緩存簡介 143 10.2.2 分布式緩存應(yīng)用場景 144 10.2.3 分布式緩存的工作機制 144 10.2.4 分布式緩存實現(xiàn) 144 10.3 寫數(shù)據(jù)類型合理使用 145 10.3.1 Hadoop 中的寫數(shù)據(jù)類型 介紹 145 10.3.2 Java 基本數(shù)據(jù)類型的 Writable 封裝 145 10.3.3 自定義 Writable 數(shù)據(jù)類型 146 10.4 JVM 緩存調(diào)優(yōu) 146 10.4.1 為什么需要 JVM 緩存 調(diào)優(yōu) 146 10.4.2 JVM 緩存參數(shù) 147 10.4.3 JVM 調(diào)優(yōu)的原則和步驟 148 10.5 本章小結(jié) 148 第11章 Hadoop組件性能優(yōu)化 149 11.1 HDFS 集中緩存管理 149 11.1.1 HDFS 集中緩存簡介 149 11.1.2 HDFS 集中緩存架構(gòu)及 概念定義 150 11.1.3 集中緩存配置 152 11.2 MapReduce 調(diào)度配置優(yōu)化 153 11.2.1 MapReduce on YARN 調(diào)度 機制 153 11.2.2 公平調(diào)度器(Fair Scheduler) 153 11.2.3 容量調(diào)度器(Capacity Scheduler) 156 11.2.4 先進先出調(diào)度器 (FIFO Scheduler) 158 11.3 YARN 內(nèi)存配置優(yōu)化 159 11.3.1 MapReduce on YARN 159 11.3.2 優(yōu)化內(nèi)存配置方法 160 11.4 Spark 程序優(yōu)化 161 11.4.1 Spark 程序優(yōu)化必要性 161 11.4.2 Spark 參數(shù)調(diào)優(yōu) 162 11.4.3 環(huán)境變量配置 163 11.4.4 常用的可調(diào)優(yōu)參數(shù) 163 11.5 本章小結(jié) 165 第五部分 大數(shù)據(jù)平臺升級 第12章 大數(shù)據(jù)備份和恢復(fù) 168 12.1 備份恢復(fù)概述 168 12.2 HDFS 備份恢復(fù) 168 12.2.1 HDFS 元數(shù)據(jù)備份恢復(fù) 168 12.2.2 HDFS 快照 171 12.2.3 HDFS 本地備份與恢復(fù) 173 12.2.4 Sqoop 增量導(dǎo)入 174 12.3 Hive元數(shù)據(jù)庫備份恢復(fù) 174 12.4 HBase 備份恢復(fù) 176 12.4.1 HBase 表備份恢復(fù) 176 12.4.2 HBase 快照 179 12.5 本章小結(jié) 181 第13章 大數(shù)據(jù)平臺核心升級 182 13.1 大數(shù)據(jù)平臺升級概述 182 13.2 評估升級的影響 183 13.3 升級平臺操作系統(tǒng) 184 13.4 升級準(zhǔn)備工作 185 13.4.1 集群檢查 185 13.4.2 備份 CDH 187 13.4.3 備份 HDFS 188 13.4.4 備份 HBase 190 13.4.5 升級前相關(guān)組件手動 操作 195 13.4.6 準(zhǔn)備 CDH6 的本地 yum 源 195 13.5 本章小結(jié) 197 第14章 大數(shù)據(jù)平臺及組件升級 198 14.1 HDFS 升級概述 198 14.1.1 不停機升級 198 14.1.2 停機升級 199 14.1.3 滾動升級的命令和啟動 選項 200 14.2 HDFS 升級 201 14.3 YARN 升級 203 14.4 ZooKeeper 升級 206 14.5 HBase 升級 206 14.5.1 HBase 版本號和兼容性 206 14.5.2 滾動升級 208 14.5.3 升級路徑 209 14.5.4 升級 HBase 操作 211 14.6 本章小結(jié) 212 第六部分 大數(shù)據(jù)平臺項目綜合案例 第15章 政務(wù)大數(shù)據(jù)運維項目實戰(zhàn) 214 15.1 政務(wù)項目背景和流程 214 15.1.1 背景介紹 214 15.1.2 政務(wù)項目開發(fā)流程 215 15.2 數(shù)據(jù)說明與預(yù)處理 215 15.2.1 數(shù)據(jù)說明 215 15.2.2 數(shù)據(jù)預(yù)處理 215 15.3 數(shù)據(jù)上傳 216 15.4 在 MySQL 中建庫 218 15.4.1 進入 MySQL Shell環(huán)境 218 15.4.2 創(chuàng)建一個數(shù)據(jù)庫 218 15.4.3 創(chuàng)建數(shù)據(jù)明細表 218 15.4.4 創(chuàng)建區(qū)域金額表 219 15.4.5 創(chuàng)建人員類型金額表 219 15.4.6 添加 MySQL 數(shù)據(jù)庫驅(qū)動 程序 JAR 包 219 15.5 通過 Spark 程序分析數(shù)據(jù) 220 15.5.1 新建項目 220 15.5.2 設(shè)置依賴包 221 15.5.3 設(shè)置項目目錄 222 15.5.4 新建 Scala 代碼文件 222 15.5.5 編寫 Scala 代碼文件 223 15.5.6 配置 pom.xml 文件 225 15.5.7 在 IDEA 中運行程序 227 15.6 查詢分析結(jié)果 228 15.7 本章小結(jié) 229 第16章 大數(shù)據(jù)平臺安全運維實戰(zhàn) 230 16.1 項目背景 230 16.1.1 大數(shù)據(jù)加大隱私泄露風(fēng)險 230 16.1.2 大數(shù)據(jù)技術(shù)被應(yīng)用到攻擊 手段中 230 16.1.3 認(rèn)證授權(quán)能力弱 231 16.1.4 數(shù)據(jù)無加密 231 16.1.5 內(nèi)部人員竊密 231 16.2 需求分析 231 16.3 Sentry 介紹 232 16.3.1 Sentry 架構(gòu)概述 232 16.3.2 Sentry 關(guān)鍵概念 232 16.3.3 Sentry 與 Hadoop 生態(tài)系統(tǒng) 集成 233 16.3.4 Hive 和 Sentry 233 16.3.5 Sentry 和 HDFS 234 16.4 解決方案 235 16.4.1 總體設(shè)計 235 16.4.2 詳細設(shè)計 235 16.5 項目實施 236 16.5.1 用戶規(guī)劃 236 16.5.2 目錄規(guī)劃 237 16.5.3 HDFS 文件權(quán)限控制 237 16.5.4 HDFS ACL 權(quán)限設(shè)置 238 16.5.5 服務(wù)訪問控制授權(quán) 239 16.5.6 YARN 隊列訪問控制列表 240 16.5.7 安裝 Sentry 244 16.5.8 配置 Sentry 244 16.5.9 配置 Sentry 客戶端參數(shù) 245 16.5.10 配置 Hive 集群集成 Sentry 246 16.6 本章小結(jié) 250 第17章 商業(yè)大數(shù)據(jù)平臺運維實戰(zhàn) 251 17.1 集群狀態(tài)查看 251 17.1.1 檢查各服務(wù)的運行狀態(tài) 251 17.1.2 集群各個主機資源負載 情況 252 17.2 HDFS 運維與監(jiān)控 253 17.2.1 HDFS 總體情況 253 17.2.2 HDFS 數(shù)據(jù)節(jié)點卷故障 檢查 254 17.2.3 HDFS 回收站管理 255 17.2.4 NameNode 重要監(jiān)控 255 17.2.5 HDFS 數(shù)據(jù)塊檢查 256 17.2.6 HDFS 安全模式操作 259 17.3 YARN 運維與監(jiān)控 259 17.3.1 YARN 總體情況 259 17.3.2 YARN 多租戶資源隊列 運維 260 17.4 HBase 運維與監(jiān)控 262 17.4.1 HBase 總體情況 262 17.4.2 定位數(shù)據(jù)熱點 262 17.4.3 禁用 Major 合并 263 17.4.4 一致性檢查和不一致 修復(fù) 263 17.4.5 備份和恢復(fù) 264 17.4.6 數(shù)據(jù)快照 265 17.5 本章小結(jié) 266
展開全部

大數(shù)據(jù)平臺運維(高級) 作者簡介

新華三技術(shù)有限公司是紫光股份旗下新華三集團作為數(shù)字化解決方案領(lǐng)導(dǎo)者，致力于成為客戶業(yè)務(wù)創(chuàng)新、數(shù)字化轉(zhuǎn)型最可信賴的合作伙伴。新華三擁有計算、存儲、網(wǎng)絡(luò)、5G、安全等全方位的數(shù)字化基礎(chǔ)設(shè)施整體能力，提供云計算、大數(shù)據(jù)、人工智能、工業(yè)互聯(lián)網(wǎng)、信息安全、智能聯(lián)接、新安防、邊緣計算等在內(nèi)的一站式數(shù)字化解決方案，以及端到端的技術(shù)服務(wù)。同時，新華三也是HPE?服務(wù)器、存儲和技術(shù)服務(wù)的中國**提供商。

商品評論(0條)
暫無評論……
書友推薦
本類暢銷
返回頂部
中圖網(wǎng)
在線客服