-
>
決戰(zhàn)行測5000題(言語理解與表達(dá))
-
>
軟件性能測試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
深度學(xué)習(xí)
-
>
Unreal Engine 4藍(lán)圖完全學(xué)習(xí)教程
-
>
深入理解計(jì)算機(jī)系統(tǒng)-原書第3版
-
>
Word/Excel PPT 2013辦公應(yīng)用從入門到精通-(附贈1DVD.含語音視頻教學(xué)+辦公模板+PDF電子書)
多模態(tài)大模型:算法、應(yīng)用與微調(diào) 版權(quán)信息
- ISBN:9787111754886
- 條形碼:9787111754886 ; 978-7-111-75488-6
- 裝幀:簡裝本
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>
多模態(tài)大模型:算法、應(yīng)用與微調(diào) 本書特色
(1)內(nèi)容權(quán)威:作者為一線的LLM研究及實(shí)踐者,本書受到多位研究專家、科技公司管理者的好評及推薦。全面覆蓋了多模態(tài)大模型的算法原理和應(yīng)用實(shí)戰(zhàn),從基礎(chǔ)到高級,涵蓋Transformer、GPT系列、深度生成模型等前沿技術(shù),詳盡介紹了預(yù)訓(xùn)練模型、分布式訓(xùn)練等重要內(nèi)容。
(2)質(zhì)量可靠:書中包含豐富的項(xiàng)目案例。通過具體實(shí)戰(zhàn)項(xiàng)目,如Stable Diffusion進(jìn)行圖像生成和Code Llama進(jìn)行代碼生成,展示了大模型的實(shí)際部署和優(yōu)化過程,并強(qiáng)調(diào)了微調(diào)技術(shù)的細(xì)節(jié),確保讀者能夠在實(shí)際操作中有效應(yīng)用所學(xué)知識。
(3)收獲切實(shí):通過閱讀本書,你將:1)深入了解多模態(tài)大模型的架構(gòu)、原理及應(yīng)用;2)掌握大模型的實(shí)際部署和優(yōu)化技巧;3)獲得詳細(xì)的微調(diào)技術(shù)指導(dǎo),提升在深度學(xué)習(xí)模型領(lǐng)域的實(shí)戰(zhàn)能力和職業(yè)競爭力。
多模態(tài)大模型:算法、應(yīng)用與微調(diào) 內(nèi)容簡介
本書詳盡地覆蓋了多模態(tài)大模型的算法原理和應(yīng)用實(shí)戰(zhàn),提供了豐富的微調(diào)技術(shù)細(xì)節(jié)和實(shí)際案例,適合對多模態(tài)大模型有興趣的技術(shù)人員深入學(xué)習(xí)及應(yīng)用。
本書分為兩篇:
算法原理篇 詳細(xì)介紹了優(yōu)選的深度學(xué)習(xí)模型,包括Transformer、GPT系列、深度生成模型,從基本架構(gòu)、訓(xùn)練方法到特定應(yīng)用,包括但不限于Seq2Seq結(jié)構(gòu)、位置編碼、注意力機(jī)制、殘差連接、變分自編碼器、GAN、ViT、CLIP、Stable Diffusion、各模型訓(xùn)練實(shí)踐的知識點(diǎn)。此外,探討了預(yù)訓(xùn)練模型的涌現(xiàn)能力、模型參數(shù)和通信數(shù)據(jù)量的估算,以及分布式訓(xùn)練的各種技術(shù),如數(shù)據(jù)并行、模型并行和混合精度訓(xùn)練等。
應(yīng)用實(shí)戰(zhàn)篇 聚焦于深度學(xué)習(xí)模型的實(shí)際應(yīng)用,特別是文本和圖像生成,以及代碼生成的應(yīng)用實(shí)戰(zhàn)。通過具體實(shí)戰(zhàn)項(xiàng)目,如利用Stable Diffusion進(jìn)行圖像生成和Code Llama進(jìn)行代碼生成,提供了微調(diào)技術(shù)的詳細(xì)細(xì)節(jié),介紹了LangChain等大模型應(yīng)用框架。
多模態(tài)大模型:算法、應(yīng)用與微調(diào) 目錄
前言
**篇 算法原理
第1章 Transformer模型 2
1.1 Seq2Seq結(jié)構(gòu) 2
1.1.1 分詞器 2
1.1.2 編碼器–解碼器結(jié)構(gòu) 6
1.1.3 注意力機(jī)制 9
1.1.4 實(shí)戰(zhàn):日期轉(zhuǎn)換 13
1.2 Transformer模型介紹 18
1.2.1 位置編碼 18
1.2.2 模型架構(gòu) 24
1.2.3 標(biāo)準(zhǔn)化和殘差連接 32
1.2.4 線性層和softmax層 36
1.2.5 損失函數(shù) 36
1.2.6 實(shí)戰(zhàn):日期轉(zhuǎn)換 37
1.2.7 小結(jié) 45
1.3 ViT模型介紹 46
1.3.1 注意力機(jī)制在圖像上的
應(yīng)用 47
1.3.2 ViT模型架構(gòu) 48
1.3.3 大數(shù)據(jù)預(yù)訓(xùn)練 50
1.3.4 ViT模型訓(xùn)練實(shí)踐 52
1.4 本章總結(jié) 54
第2章 GPT系列模型 55
2.1 GPT-1 55
2.1.1 語言模型 56
2.1.2 訓(xùn)練框架 56
2.1.3 模型效果分析 62
2.2 GPT-2 63
2.2.1 模型架構(gòu)分析 64
2.2.2 構(gòu)造訓(xùn)練數(shù)據(jù)集 65
2.2.3 模型效果分析 65
2.3 GPT-3 66
2.3.1 上下文學(xué)習(xí) 67
2.3.2 構(gòu)造訓(xùn)練數(shù)據(jù)集 67
2.3.3 訓(xùn)練停止判定 69
2.3.4 重要潛力 69
2.4 GPT-3.5 70
2.4.1 代碼生成模型Codex 71
2.4.2 強(qiáng)化學(xué)習(xí) 76
2.4.3 ChatGPT的“孿生兄弟”:InstructGPT 85
2.4.4 RLAIF 96
2.5 GPT-4 97
2.5.1 GPT-4的非凡表現(xiàn) 98
2.5.2 基于規(guī)則的獎(jiǎng)勵(lì)模型 99
2.5.3 多模態(tài)架構(gòu) 101
2.5.4 訓(xùn)練流程 103
2.5.5 局限性 104
2.6 語言模型的未來 104
2.6.1 自我學(xué)習(xí)與自我核實(shí) 105
2.6.2 稀疏專家模型 106
2.7 GPT系列的其他應(yīng)用 107
2.7.1 MiniGPT-4 107
2.7.2 minGPT與nanoGPT 108
2.7.3 AutoGPT與AgentGPT 109
2.8 本章總結(jié) 109
第3章 深度生成模型 111
3.1 從自編碼器到變分自編碼器 111
3.1.1 自編碼器 111
3.1.2 變分自編碼器 116
3.2 生成對抗網(wǎng)絡(luò) 119
3.2.1 網(wǎng)絡(luò)架構(gòu) 119
3.2.2 算法描述 120
3.2.3 實(shí)戰(zhàn):手寫數(shù)字圖像
生成 122
3.2.4 衍生應(yīng)用 125
3.3 文本與圖像的橋梁:CLIP 129
3.3.1 介紹 129
3.3.2 訓(xùn)練與推理 129
3.3.3 實(shí)戰(zhàn):圖像文本匹配 132
3.3.4 CLIP的局限性 134
3.4 穩(wěn)定擴(kuò)散模型:Stable Diffusion 135
3.4.1 基本組件 135
3.4.2 擴(kuò)散原理 136
3.4.3 數(shù)據(jù)集構(gòu)建 139
3.4.4 流程梳理 141
3.4.5 實(shí)戰(zhàn):圖像生成 144
3.4.6 Stable Diffusion升級 147
3.5 本章總結(jié) 148
第4章 預(yù)訓(xùn)練模型 150
4.1 大模型的涌現(xiàn)能力 151
4.1.1 縮放法則 151
4.1.2 涌現(xiàn)能力 152
4.2 模型參數(shù)量估算 153
4.3 通信數(shù)據(jù)量分析 155
4.3.1 點(diǎn)對點(diǎn)通信 156
4.3.2 集群通信 157
4.4 分布式訓(xùn)練 161
4.4.1 基本概念 161
4.4.2 數(shù)據(jù)并行 163
4.4.3 模型并行 171
4.4.4 混合并行 177
4.4.5 混合精度訓(xùn)練 178
4.5 DeepSpeed 180
4.5.1 ZeRO 181
4.5.2 ZeRO-Offload 185
4.5.3 ZeRO-Infinity 189
4.6 模型即服務(wù)平臺 190
4.6.1 ModelScope 191
4.6.2 Hugging Face 192
4.7 本章總結(jié) 196
第二篇 應(yīng)用實(shí)戰(zhàn)
第5章 文本生成應(yīng)用實(shí)戰(zhàn):利用ChatPDF與文件對話 198
5.1 大模型的落地應(yīng)用 198
5.1.1 外部增強(qiáng):領(lǐng)域工具
增強(qiáng) 200
5.1.2 提示詞工程 201
5.1.3 模型微調(diào) 207
5.2 GLM系列模型 207
5.2.1 GLM與GLM-130B 209
5.2.2 ChatGLM、ChatGLM-6B
和ChatGLM2-6B 211
5.2.3 ChatGLM與ChatGPT的
區(qū)別 212
5.3 參數(shù)高效微調(diào) 213
5.3.1 Adapter Tuning 213
5.3.2 Prompt Tuning 214
5.3.3 Prefix-Tuning 215
5.3.4 P-Tuning 218
5.3.5 P-Tuning v2 219
5.3.6 ChatGLM2-6B的
P-Tuning v2微調(diào) 220
5.4 大語言模型應(yīng)用框架:
LangChain 222
5.4.1 快速開始 223
5.4.2 基本概念 226
5.5 ChatGLM金融大模型挑戰(zhàn)賽 232
5.5.1 任務(wù)目標(biāo) 232
5.5.2 環(huán)境準(zhǔn)備:SQLite 234
5.5.3 問題分析 235
5.5.4 NL2SQL 245
5.5.5 DocTree 261
5.5.6 集成 271
5.6 本章總結(jié) 275
第6章 文本生成算法實(shí)戰(zhàn):DeepSpeed-Chat 276
6.1 ZeRO 276
6.1.1 權(quán)重量化 277
6.1.2 分層切片 278
6.1.3 梯度量化 278
6.1.4 ZeRO 與DeepSpeed-Chat結(jié)合 279
6.2 DeepSpeed-Chat快速開始 280
6.3 DeepSpeed-Chat的RLHF訓(xùn)練 281
6.3.1 數(shù)據(jù)收集與整理 282
6.3.2 有監(jiān)督微調(diào) 284
6.3.3 獎(jiǎng)勵(lì)模型微調(diào) 287
6.3.4 RLHF微調(diào) 288
6.3.5 模型部署與測試 290
6.4 DeepSpeed混合引擎 290
6.5 本章總結(jié) 291
第7章 圖像生成算法實(shí)戰(zhàn):Stable Diffusion微調(diào) 293
7.1 LoRA參數(shù)高效微調(diào)技術(shù) 293
7.1.1 奇異值分解 294
7.1.2 LoRA詳解 295
7.2 用于Diffusers的LoRA微調(diào) 297
7.2.1 數(shù)據(jù)收集 297
7.2.2 訓(xùn)練參數(shù)配置 300
7.2.3 模型訓(xùn)練與測試 300
7.3 Stable Diffusion WebUI 302
7.3.1 安裝 304
7.3.2 模型介紹 304
7.3.3 參數(shù)介紹 307
7.3.4 其他應(yīng)用 310
7.4 可控?cái)U(kuò)散模型:ControlNet 313
7.4.1 原理介紹 314
7.4.2 安裝插件并使用 316
7.5 本章總結(jié) 321
第8章 代碼生成算法實(shí)戰(zhàn):
Code Llama微調(diào) 322
8.1 任務(wù)介紹 322
8.1.1 代碼生成模型的應(yīng)用
場景 323
8.1.2 相關(guān)模型介紹 327
8.1.3 常用代碼數(shù)據(jù)集 331
8.2 Llama 2 336
8.2.1 模型介紹 336
8.2.2 預(yù)訓(xùn)練 336
8.2.3 有監(jiān)督微調(diào) 337
8.2.4 獎(jiǎng)勵(lì)模型訓(xùn)練 338
8.2.5 迭代微調(diào) 339
8.2.6 多輪對話一致性 339
8.3 算法競賽大語言模型 340
8.3.1 數(shù)據(jù)獲取 340
8.3.2 數(shù)據(jù)清洗 348
8.3.3 text-dedup 351
8.3.4 模型訓(xùn)練 353
8.4 本章總結(jié) 358
第9章 綜合應(yīng)用實(shí)戰(zhàn):構(gòu)建“漫畫家”生成多模態(tài)漫畫 360
9.1 應(yīng)用介紹 361
9.1.1 需求分析 361
9.1.2 功能設(shè)計(jì) 363
9.2 功能實(shí)現(xiàn)選型 365
9.2.1 相關(guān)AI模型 365
9.2.2 后端技術(shù)!372
9.2.3 小結(jié) 377
9.3 相關(guān)模型部署 378
9.3.1 Stable Diffusion WebUI
部署 378
9.3.2 語音識別模型:Whisper 381
9.3.3 語音合成模型:
Sambert-Hifigan 383
9.4 后端應(yīng)用搭建 386
9.4.1 創(chuàng)建項(xiàng)目 387
9.4.2 配置應(yīng)用 388
9.4.3 基本功能開發(fā) 390
9.5 本章總結(jié) 403
多模態(tài)大模型:算法、應(yīng)用與微調(diào) 相關(guān)資料
這本書詳細(xì)介紹了從基礎(chǔ)到高級的多模態(tài)大模型的技術(shù)原理,并通過豐富的項(xiàng)目案例展示了實(shí)際部署和模型優(yōu)化的實(shí)踐過程。對于希望應(yīng)用最新大模型的技術(shù)人員,或者對AI技術(shù)充滿好奇的技術(shù)愛好者,本書提供了實(shí)用的理論指導(dǎo)和深入的系統(tǒng)實(shí)踐。這本書將成為你在AI探索之路上的得力助手,為你開啟前沿技術(shù)的新篇章。
—— 蘇靜教授 天津科技大學(xué) 教務(wù)處副處長
本書深入探討了多模態(tài)大模型的技術(shù)全景,分為算法原理和應(yīng)用實(shí)戰(zhàn)兩篇,涵蓋了Transformer、GPT系列等模型的架構(gòu)及原理,并聚焦于文本、圖像生成以及代碼生成等實(shí)際應(yīng)用。無論是想深入研究模型原理,還是在實(shí)踐中應(yīng)用模型,都能在本書中找到指導(dǎo)和啟發(fā)。
—— 張賢坤教授 天津科技大學(xué) 人工智能學(xué)院院長
這本書從算法原理到實(shí)戰(zhàn)應(yīng)用,深入淺出地介紹了Transformer、GPT系列、Stable Diffusion等大模型。不僅從技術(shù)視角為讀者呈現(xiàn)了大模型整體架構(gòu),還呈現(xiàn)了大量實(shí)戰(zhàn)應(yīng)用案例。對于想要深入了解和應(yīng)用多模態(tài)大模型的讀者來說,這是一本不可多得的指南和參考。
—— 楊勇教授 天津工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院院長
本書從學(xué)習(xí)者和實(shí)踐者的雙重視角,探討展現(xiàn)了多模態(tài)大模型的算法原理和技術(shù)實(shí)踐,既有嚴(yán)謹(jǐn)?shù)睦碚,又有生動的?shí)踐,極適合工程師、技術(shù)愛好者、學(xué)生閱讀學(xué)習(xí),強(qiáng)烈推薦。
—— 王嫄副教授 天津科技大學(xué) 人工智能學(xué)院
這本書全面解析了多模態(tài)大模型的核心技術(shù)和應(yīng)用實(shí)踐,從算法原理到模型微調(diào),從理論講解到案例演示,每一部分都展現(xiàn)了作者對多模態(tài)大模型的深入研究和扎實(shí)經(jīng)驗(yàn)。這本書不僅適用于對AI技術(shù)感興趣的初學(xué)者,還適用于希望進(jìn)一步提升技術(shù)水平的資深從業(yè)者。通過閱讀本書,讀者可以系統(tǒng)地掌握多模態(tài)大模型的理論知識,同時(shí)了解其在各個(gè)領(lǐng)域的實(shí)際應(yīng)用。
—— 王剛 易商數(shù)科科技有限公司 總裁
這本書全面介紹了多模態(tài)大模型技術(shù)棧,系統(tǒng)地講解了從基礎(chǔ)到高級的大模型結(jié)構(gòu),并輔以具體的應(yīng)用案例和代碼段,圖文并茂,為讀者提供了有效的實(shí)戰(zhàn)參考。大模型是當(dāng)前眾多企業(yè)的技術(shù)研究重點(diǎn),企業(yè)力求利用大模型提升營銷、銷售、運(yùn)營、服務(wù)等環(huán)節(jié)的效率,甚至改變現(xiàn)有的經(jīng)營模式。這本書的面世恰好滿足相應(yīng)的學(xué)習(xí)需求,為技術(shù)人員提供了詳盡的理論體系和實(shí)戰(zhàn)指導(dǎo),具有重要的意義。
—— 陳瑋 泰康在線財(cái)產(chǎn)保險(xiǎn)股份有限公司 副總經(jīng)理
—— 蘇靜教授 天津科技大學(xué) 教務(wù)處副處長
本書深入探討了多模態(tài)大模型的技術(shù)全景,分為算法原理和應(yīng)用實(shí)戰(zhàn)兩篇,涵蓋了Transformer、GPT系列等模型的架構(gòu)及原理,并聚焦于文本、圖像生成以及代碼生成等實(shí)際應(yīng)用。無論是想深入研究模型原理,還是在實(shí)踐中應(yīng)用模型,都能在本書中找到指導(dǎo)和啟發(fā)。
—— 張賢坤教授 天津科技大學(xué) 人工智能學(xué)院院長
這本書從算法原理到實(shí)戰(zhàn)應(yīng)用,深入淺出地介紹了Transformer、GPT系列、Stable Diffusion等大模型。不僅從技術(shù)視角為讀者呈現(xiàn)了大模型整體架構(gòu),還呈現(xiàn)了大量實(shí)戰(zhàn)應(yīng)用案例。對于想要深入了解和應(yīng)用多模態(tài)大模型的讀者來說,這是一本不可多得的指南和參考。
—— 楊勇教授 天津工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院院長
本書從學(xué)習(xí)者和實(shí)踐者的雙重視角,探討展現(xiàn)了多模態(tài)大模型的算法原理和技術(shù)實(shí)踐,既有嚴(yán)謹(jǐn)?shù)睦碚摚钟猩鷦拥膶?shí)踐,極適合工程師、技術(shù)愛好者、學(xué)生閱讀學(xué)習(xí),強(qiáng)烈推薦。
—— 王嫄副教授 天津科技大學(xué) 人工智能學(xué)院
這本書全面解析了多模態(tài)大模型的核心技術(shù)和應(yīng)用實(shí)踐,從算法原理到模型微調(diào),從理論講解到案例演示,每一部分都展現(xiàn)了作者對多模態(tài)大模型的深入研究和扎實(shí)經(jīng)驗(yàn)。這本書不僅適用于對AI技術(shù)感興趣的初學(xué)者,還適用于希望進(jìn)一步提升技術(shù)水平的資深從業(yè)者。通過閱讀本書,讀者可以系統(tǒng)地掌握多模態(tài)大模型的理論知識,同時(shí)了解其在各個(gè)領(lǐng)域的實(shí)際應(yīng)用。
—— 王剛 易商數(shù)科科技有限公司 總裁
這本書既是一本技術(shù)專業(yè)書,也是一份引領(lǐng)你走進(jìn)多模態(tài)大模型領(lǐng)域的重要指南。書中深入剖析了多模態(tài)大模型的原理和應(yīng)用,通過生動的案例,讓讀者深刻感受到AI技術(shù)的魅力和潛力。無論是初學(xué)者還是資深從業(yè)者,都能從這本書中汲取到寶貴的知識和經(jīng)驗(yàn)。它不僅能夠幫助你掌握多模態(tài)大模型的核心技術(shù),還能夠激發(fā)你對未來科技發(fā)展的無限想象。
—— 陳瑋 泰康在線財(cái)產(chǎn)保險(xiǎn)股份有限公司 副總經(jīng)理
多模態(tài)大模型:算法、應(yīng)用與微調(diào) 作者簡介
劉兆峰
中國電信多模態(tài)算法工程師,基于多模態(tài)大模型提升長尾業(yè)務(wù)能力。天津科技大學(xué)人工智能專業(yè)碩士研究生。曾在京東科技擔(dān)任算法工程師,從事京東白條申請?jiān)u分卡開發(fā)。后加入創(chuàng)業(yè)公司,從事大規(guī)模預(yù)訓(xùn)練語言模型的分布式微調(diào)和AIGC相關(guān)衍生產(chǎn)品的系統(tǒng)開發(fā),對LLM的訓(xùn)練和推理有深厚的理論基礎(chǔ)和實(shí)戰(zhàn)經(jīng)驗(yàn)。
現(xiàn)主要研究方向?yàn)槎嗄B(tài)大模型與Agent以及AGI系統(tǒng)研究,聚焦于多模態(tài)大模型的行業(yè)場景落地。工作期間技術(shù)成果豐碩,發(fā)表多篇論文,有多個(gè)軟件著作權(quán)。
- >
莉莉和章魚
- >
詩經(jīng)-先民的歌唱
- >
大紅狗在馬戲團(tuán)-大紅狗克里弗-助人
- >
龍榆生:詞曲概論/大家小書
- >
自卑與超越
- >
李白與唐代文化
- >
苦雨齋序跋文-周作人自編集
- >
月亮與六便士