基于TENSORFLOW的深度學習:神經(jīng)網(wǎng)絡(luò)、計算機視覺和NLP的理論與實踐 版權(quán)信息
- ISBN:9787111741725
- 條形碼:9787111741725 ; 978-7-111-74172-5
- 裝幀:一般純質(zhì)紙
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>
基于TENSORFLOW的深度學習:神經(jīng)網(wǎng)絡(luò)、計算機視覺和NLP的理論與實踐 本書特色
利用深度神經(jīng)網(wǎng)絡(luò)的人工神經(jīng)元和全連接、卷積和循環(huán)層等構(gòu)建先進的架構(gòu)
本書使用TensorFlow和Keras提供了簡潔、注釋良好的代碼示例,還提供了相應(yīng)的PyTorch示例,涵蓋了工業(yè)和學術(shù)界關(guān)于深度學習的兩個主要Python庫。*后,介紹了神經(jīng)結(jié)構(gòu)搜索(NAS),并探索了重要的倫理問題,為進一步學習深度學習提供了資源。
基于TENSORFLOW的深度學習:神經(jīng)網(wǎng)絡(luò)、計算機視覺和NLP的理論與實踐 內(nèi)容簡介
本書系統(tǒng)地講解了深度學習技術(shù),闡明核心概念和實踐編程技術(shù),是開發(fā)者、數(shù)據(jù)科學家、分析師,以及之前沒有機器學習或統(tǒng)計經(jīng)驗的人員人員的理想選擇。
本書介紹了深度神經(jīng)網(wǎng)絡(luò)的人工神經(jīng)元和全連接、卷積和循環(huán)層等基本構(gòu)建模塊,展示了如何使用它們來構(gòu)建優(yōu)選的架構(gòu)。書中還講解了如何使用這些概念構(gòu)建計算機視覺和自然語言處理(NLP)網(wǎng)絡(luò),包括Mask R-CNN、GPT和BERT。此外,書中還描述了自然語言翻譯器和能根據(jù)圖像內(nèi)容生成自然語言系統(tǒng)的原理。
基于TENSORFLOW的深度學習:神經(jīng)網(wǎng)絡(luò)、計算機視覺和NLP的理論與實踐 目錄
CONTENTS
目 錄
推薦序一
推薦序二
前言
第1章 Rosenblatt 感知器 1
1.1 雙輸入感知器示例 3
1.2 感知器學習算法 4
1.3 感知器的局限性 9
1.4 組合多個感知器 11
1.5 感知器的幾何解釋 13
1.6 理解偏差項 14
第2章 基于梯度的學習 16
2.1 感知器學習算法的直觀解釋 16
2.2 用梯度下降法解決學習問題 18
2.3 網(wǎng)絡(luò)中的常量與變量 20
2.4 感知器學習算法的解析 20
2.5 感知器學習算法的幾何描述 22
2.6 重新審視不同類型的感知器 22
2.7 使用感知器進行模式識別 24
第3章 Sigmoid神經(jīng)元與反向傳播 26
3.1 改進的神經(jīng)元實現(xiàn)多層網(wǎng)絡(luò)的梯度下降 26
3.2 激活函數(shù)的選擇 30
3.3 復(fù)合函數(shù)和鏈式法則 30
3.4 利用反向傳播計算梯度 31
3.4.1 前向傳播階段 37
3.4.2 后向傳播階段 37
3.4.3 權(quán)重調(diào)整 38
3.5 每層具有多個神經(jīng)元的反向傳播 39
3.6 編程示例:學習XOR函數(shù) 40
3.7 網(wǎng)絡(luò)結(jié)構(gòu) 43
第4章 用于多分類的全連接網(wǎng)絡(luò) 45
4.1 訓(xùn)練網(wǎng)絡(luò)時所用數(shù)據(jù)集簡介 45
4.1.1 探索數(shù)據(jù)集 46
4.1.2 數(shù)據(jù)集中的人為偏見 48
4.1.3 訓(xùn)練集、測試集和泛化 49
4.1.4 超參數(shù)調(diào)優(yōu)和測試集信息泄漏 50
4.2 訓(xùn)練與推理 51
4.3 擴展網(wǎng)絡(luò)和學習算法以進行多分類 51
4.4 用于數(shù)字分類的網(wǎng)絡(luò) 52
4.5 多分類的損失函數(shù) 52
4.6 編程示例:手寫數(shù)字分類 53
4.7 小批量梯度下降 60
第5章 走向DL:框架和網(wǎng)絡(luò)調(diào)整 61
5.1 編程示例:轉(zhuǎn)移到DL框架 61
5.2 飽和神經(jīng)元和梯度消失問題 65
5.3 避免神經(jīng)元飽和的初始化和歸一化技術(shù) 66
5.3.1 權(quán)重初始化 67
5.3.2 輸入標準化 68
5.3.3 批歸一化 68
5.4 用于緩解飽和輸出神經(jīng)元影響的交叉熵損失函數(shù) 69
5.5 使用不同激活函數(shù)以避免隱藏層中梯度消失問題 73
5.6 提高學習的梯度下降法中的變量 76
5.7 實驗:調(diào)整網(wǎng)絡(luò)和學習參數(shù) 78
5.8 超參數(shù)調(diào)優(yōu)和交叉驗證 80
5.8.1 使用驗證集來避免過擬合 81
5.8.2 交叉驗證以改善訓(xùn)練數(shù)據(jù)的使用 81
第6章 全連接網(wǎng)絡(luò)在回歸中的應(yīng)用 83
6.1 輸出單元 83
6.1.1 二元分類的邏輯單元 84
6.1.2 用于多分類的Softmax單元 84
6.1.3 線性回歸單元 86
6.2 波士頓住房數(shù)據(jù)集 87
6.3 編程示例:用DNN預(yù)測房價 88
6.4 用正則化改進泛化 91
6.5 實驗:更深層次和正則化的房價預(yù)測模型 93
第7章 卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用 94
7.1 CIFAR-10數(shù)據(jù)集 95
7.2 卷積層的特征和構(gòu)建模塊 97
7.3 將特征映射組合成一個卷積層 99
7.4 將卷積層和全連接層結(jié)合成一個網(wǎng)絡(luò) 100
7.5 稀疏連接和權(quán)重共享的影響 102
7.6 編程示例:用卷積網(wǎng)絡(luò)進行圖像分類 105
第8章 深度卷積神經(jīng)網(wǎng)絡(luò)和預(yù)訓(xùn)練模型 113
8.1 VGGNet 113
8.2 GoogLeNet 116
8.3 ResNet 119
8.4 編程示例:使用預(yù)先訓(xùn)練的ResNet實現(xiàn) 124
8.5 遷移學習 126
8.6 CNN和池化的反向傳播 128
8.7 正則化技術(shù)的數(shù)據(jù)增強 128
8.8 CNN的局限性 129
8.9 用深度可分離卷積進行參數(shù)約簡 130
8.10 用高效網(wǎng)絡(luò)實現(xiàn)正確的網(wǎng)絡(luò)設(shè)計平衡 131
第9章 用循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測時間序列 132
9.1 前饋網(wǎng)絡(luò)的局限性 134
9.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 135
9.3 循環(huán)層的數(shù)學表示 135
9.4 將圖層組合成一個RNN 136
9.5 RNN的另一視圖并按時間展開 137
9.6 基于時間的反向傳播 138
9.7 編程示例:預(yù)測圖書銷量 140
9.7.1 標準化數(shù)據(jù)并創(chuàng)建訓(xùn)練示例 144
9.7.2 創(chuàng)建一個簡單的RNN 145
9.7.3 與無循環(huán)網(wǎng)絡(luò)的比較 148
9.7.4 將示例擴展為多輸入變量 149
9.8 RNN的數(shù)據(jù)集注意事項 149
第10章 長短期記憶 151
10.1 保持梯度健康 151
10.2 LSTM介紹 154
10.3 LSTM激活函數(shù) 157
10.4 創(chuàng)建LSTM單元構(gòu)成的網(wǎng)絡(luò) 157
10.5 LSTM的其他理解 158
10.6 相關(guān)話題:高速神經(jīng)網(wǎng)絡(luò)和跳連接 159
第11章 使用LSTM和集束搜索自動補全文本 161
11.1 文本編碼 161
11.2 長期預(yù)測和自回歸模型 162
11.3 集束搜索 163
11.4 編程示例:使用LSTM實現(xiàn)文本自動補全 164
11.5 雙向RNN 169
11.6 輸入和輸出序列的不同組合 170
第12章 神經(jīng)語言模型和詞嵌入 172
12.1 語言模型介紹及其用例簡介 172
12.2 不同語言模型的例子 174
12.2.1 n-gram模型 174
12.2.2 skip-gram模型 176
12.2.3 神經(jīng)語言模型 176
12.3 詞嵌入的好處及對其工作方式的探究 178
12.4 基于神經(jīng)語言模型創(chuàng)建詞嵌入 179
12.5 編程示例:神經(jīng)語言模型和產(chǎn)生的嵌入 182
12.6 King–Man + Woman! = Queen 188
12.7 King–Man+Woman != Queen 190
12.8 語言模型、詞嵌入和人類偏見 190
12.9 相關(guān)話題:文本情感分析 191
12.9.1 詞袋法和N元詞袋法 192
12.9.2 相似性度量 194
12.9.3 組合BoW和深度學習 195
第13章 Word2vec和GloVe的詞嵌入 197
13.1 使用Word2vec在沒有語言模型的情況下創(chuàng)建詞嵌入 197
13.1.1 與語言模型相比降低計算復(fù)雜性 198
13.1.2 連續(xù)詞袋模型 199
13.1.3 連續(xù)skip-gram模型 199
13.1.4 進一步降低計算復(fù)雜度的優(yōu)化連續(xù)skip-gram模型 200
13.2 關(guān)于Word2vec的其他思考 201
13.3 矩陣形式的Word2vec 202
13.4 Word2vec總結(jié) 203
13.5 編程示例:探索GloVe嵌入的屬性 204
第14章 序列到序列網(wǎng)絡(luò)和自然語言翻譯 209
14.1 用于序列到序列學習的編-解碼器模型 210
14.2 Keras函數(shù)式API簡介 212
14.3 編程示例:神經(jīng)機器翻譯 214
14.4 實驗結(jié)果 226
14.5 中間表示的性質(zhì) 227
第15章 注意力機制和Transformer架構(gòu) 229
15.1 注意力機制的基本原理 229
15.2 序列到序列網(wǎng)絡(luò)中的注意力機制 230
15.2.1 計算對齊向量 234
15.2.2 對齊向量上的數(shù)學符號與變量 235
15.2.3 關(guān)注更深層的網(wǎng)絡(luò) 236
15.2.4 其他注意事項 237
15.3 循環(huán)網(wǎng)絡(luò)的替代方法 238
15.4 自注意力 239
15.5 多頭注意力 240
15.6 Transformer架構(gòu) 241
第16章 用于圖像字幕的一對多網(wǎng)絡(luò) 245
16.1 用注意力擴展圖像字幕網(wǎng)絡(luò) 247
16.2 編程示例:基于注意力的圖像字幕 248
第17章 其他主題 264
17.1 自編碼器 264
17.1.1 自編碼器的使用案例 265
17.1.2 自編碼器的其他方面 266
17.1.3 編程示例:用于異常值檢測的自編碼器 267
17.2 多模態(tài)學習 272
17.2.1 多模態(tài)學習的分類 272
17.2.2 編程示例:使用多模態(tài)輸入數(shù)據(jù)進行分類 275
17.3 多任務(wù)學習 279
17.3.1 為什么要執(zhí)行多任務(wù)學習 279
17.3.2 如何實現(xiàn)多任務(wù)學習 279
17.3.3 其他方向和變體的基本實現(xiàn) 280
17.3.4 編程示例:多分類和用單一網(wǎng)絡(luò)回答問題 281
17.4 網(wǎng)絡(luò)調(diào)優(yōu)過程 284
17.5 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索 287
17.5.1 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的關(guān)鍵組成部分 287
17.5.2 編程示例:搜索一個用于CIFAR-10分類的架構(gòu) 290
17.5.3 神經(jīng)架構(gòu)搜索的內(nèi)在含義 300
第18章 總結(jié)和未來展望 301
18.1 你現(xiàn)在應(yīng)該知道的事情 301
18.2 倫理AI和數(shù)據(jù)倫理 302
18.2.1 需要注意的問題 303
18.2.2 問題清單 304
18.3 你還不知道的事情 305
18.3.1 強化學習 305
18.3.2 變分自編碼器和生成對抗網(wǎng)絡(luò) 305
18.3.3 神經(jīng)風格遷移 306
18.3.4 推薦系統(tǒng) 307
18.3.5 語音模型 307
18.4 未來展望 307
附錄A 線性回歸和線性分類 309
A.1 機器學習算法:線性回歸 309
A.1.1 一元線性回歸 309
A.1.2 多元線性回歸 310
A.1.3 用線性函數(shù)建模曲率 311
A.2 計算線性回歸系數(shù) 312
A.3 邏輯回歸分類 313
A.4 用線性分類器對XOR進行分類 314
A.5 支持向量機分類 317
A.6 二元分類器的評價指標 318
附錄B 目標檢測和分割 321
B.1 目標檢測 321
B.1.1 R-CNN 322
B.1.2 Fast R-CNN 324
B.1.3 Faster R-CNN 325
B.2 語義分割 327
B.2.1 上采樣技術(shù) 328
B.2.2 反卷積網(wǎng)絡(luò) 332
B.2.3 U-Net 333
B.3 Mask R-CNN 實例分割 334
附錄C Word2vec和GloVe之外的詞嵌入 337
C.1 Wordpieces 337
C.2 FastText 339
C.3 基于字符的方法 339
C.4 ELMo 343
C.5 相關(guān)工作 345
附錄D GPT、BERT和 RoBERTa 346
D.1 GPT 346
D.2 BERT 349
D.2.1 掩碼語言模型任務(wù) 349
D.2.2 下一句預(yù)測任務(wù) 350
D.2.3 BERT的輸入輸出表示 351
D.2.4 BERT在NLP任務(wù)中的應(yīng)用 352
D.3 RoBERTa 352
D.4 GPT和BERT的前期工作 354
D.5 基于Transformer的其他模型 354
附錄E Newton-Raphson法與梯度下降法 356
E.1 Newton-Raphson求根法 356
E.2 Newton-Raphson法與梯度下降法的關(guān)系 358
附錄F 數(shù)字分類網(wǎng)絡(luò)的矩陣實現(xiàn) 359
F.1 單一矩陣 359
F.2 小批量實現(xiàn) 361
附錄G 卷積層與數(shù)學卷積的關(guān)系 365
附錄H 門控循環(huán)單元 369
H.1 GRU的替代實現(xiàn) 371
H.2 基于GRU的網(wǎng)絡(luò) 371
附錄I 搭建開發(fā)環(huán)境 374
I.1 Python 374
I.2 編程環(huán)境 375
I.2.1 Jupyter Notebook 375
I.2.2 使用集成開發(fā)環(huán)境 375
I.3 編程示例 376
I.4 數(shù)據(jù)集 376
I.4.1 MNIST數(shù)據(jù)集 377
I.4.2 來自美國人口普查局的書店銷售數(shù)據(jù) 377
I.4.3 古騰堡工程的FRANKENSTEIN文本 378
I.4.4 GloVe詞嵌入 378
I.4.5 ANKI雙語句子對 378
I.4.6 COCO數(shù)據(jù)集 378
I.5 安裝深度學習框架 378
I.5.1 系統(tǒng)安裝 378
I.5.2 虛擬環(huán)境安裝 379
I.5.3 GPU加速 379
I.5.4 Docker容器 379
I.5.5 使用云服務(wù) 380
I.6 TensorFlow具體注意事項 380
I.7 PyTorch與TensorFlow的關(guān)鍵區(qū)別 380
I.7.1 需要編寫我們自己的擬合/訓(xùn)練函數(shù) 381
I.7.2 NumPy和PyTorch之間的數(shù)據(jù)顯式移動 381
I.7.3 CPU和GPU之間的數(shù)據(jù)顯式傳輸 382
I.7.4 明確區(qū)分訓(xùn)練和推理 382
I.7.5 順序式API與函數(shù)式API 382
I.7.6 缺乏編譯功能 383
I.7.7 循環(huán)層和狀態(tài)處理 383
I.7
展開全部
基于TENSORFLOW的深度學習:神經(jīng)網(wǎng)絡(luò)、計算機視覺和NLP的理論與實踐 作者簡介
周翊民中國科學院深圳先進技術(shù)研究院研究員,博士生導(dǎo)師。2008 年在英國牛津大學工程科學系獲得博士學位,曾在英國拉夫堡大學電子電氣工程系從事博士后研究工作。主要從事非線性控制、人工智能、模糊神經(jīng)網(wǎng)絡(luò)、機器人、無人機控制系統(tǒng)、智能電網(wǎng)等相關(guān)技術(shù)的研究。以項目負責人身份申請并獲批國家自然基金、科技部重點研發(fā)計劃、廣東省科技專項、深圳市基礎(chǔ)重點研究項目等多個項目。發(fā)表SCI/EI文章100余篇,申請專利50余項,出版英文專著2 部,譯著1部。