Python分布式機器學習 (美)冠華.王 9787302633112 【台灣高等教育出版社】

*完成訂單後正常情形下約兩周可抵台。
*本賣場提供之資訊僅供參考，以到貨標的為正確資訊。
印行年月：202304*若逾兩年請先於客服中心或Line洽詢存貨情況，謝謝。
台灣(台北市)在地出版社，每筆交易均開具統一發票，祝您中獎最高1000萬元。
書名：Python分布式機器學習
ISBN：9787302633112
出版社：清華大學
著編譯者：(美)冠華.王
頁數：215
所在地：中國大陸 *此為代購商品
書號：1507860
可大量預訂，請先連絡。

內容簡介

本書詳細闡述了與分散式機器學習相關的基本解決方案，主要包括拆分輸入數據、參數伺服器和All-Reduce、構建數據并行訓練和服務管道、瓶頸和解決方案、拆分模型、管道輸入和層拆分、實現模型并行訓練和服務工作流程、實現更高的吞吐量和更低的延遲、數據并行和模型并行的混合、聯合學習和邊緣設備、彈性模型訓練和服務、進一步加速的高級技術等內容。此外，本書還提供了相應的示例、代碼，以幫助讀者進一步理解相關方案的實現過程。 本書適合作為高等院校計算機及相關專業的教材和教學參考書，也可作為相關開發人員的自學用書和參考手冊。

作者簡介

冠華·王（Guanhua Wang）是加州大學伯克利分校RISELab的計算機科學博士（導師為Ion Stoica教授）。他的研究主要集中在機器學習系統領域，包括快速集體通信、高效并行模型訓練和實時模型服務等，得到了學術界和工業界的廣泛關注。他曾受邀在頂級大學（麻省理工學院、斯坦福大學、卡內基梅隆大學和普林斯頓大學）和大型科技公司（Facebook/Meta和微軟）進行演講。他在香港科技大學獲得碩士學位，在中國東南大學獲得學士學位。他在無線網路方面還有一些很好的研究。他喜歡踢足球，並且曾在加州灣區跑過多次半程馬拉松。

目錄

第1篇 數據并行
第1章 拆分輸入數據
1 1 單節點訓練太慢
1 1 1 數據載入帶寬和模型訓練帶寬之間的不匹配
1 1 2 流行數據集的單節點訓練時間
1 1 3 使用數據并行加速訓練過程
1 2 數據并行
1 2 1 隨機梯度下降
1 2 2 模型同步
1 3 超參數調優
1 3 1 全局批次大小
1 3 2 學習率調整
1 3 3 模型同步方案
1 4 小結
第2章 參數伺服器和All-Reduce
2 1 技術要求
2 2 參數伺服器架構
2 2 1 參數伺服器架構中的通信瓶頸
2 2 2 在參數伺服器之間分片模型
2 3 實現參數伺服器
2 3 1 定義模型層
2 3 2 定義參數伺服器
2 3 3 定義工作節點
2 3 4 在參數伺服器和工作節點之間傳遞數據
2 4 參數伺服器的問題
2 4 1 情況1——更多參數伺服器
2 4 2 情況2——更多工作節點
2 4 3 參數伺服器架構為從業者帶來了很高的編碼複雜度
2 5 All-Reduce架構
2 5 1 Reduce
2 5 2 All-Reduce
2 5 3 RingAll-Reduce
2 6 集體通信
2 6 1 Broadcast
2 6 2 Gather
2 6 3 All-Gather
2 7 小結
第3章 構建數據并行訓練和服務管道
3 1 技術要求
3 2 數據并行訓練管道概述
3 2 1 輸入預處理
3 2 2 輸入數據分區
3 2 3 數據載入
3 2 4 數據訓練
3 2 5 模型同步
3 2 6 模型更新
3 3 單機多GPU和多機多GPU
3 3 1 單機多GPU
3 3 2 多機多GPU
3 4 檢查點和容錯
3 4 1 模型檢查點
3 4 2 載入模型檢查點
3 5 模型評估和超參數調優
3 6 數據并行中的模型服務
3 7 小結
第4章 瓶頸和解決方案
4 1 數據并行訓練中的通信瓶頸
4 1 1 通信工作負載分析
4 1 2 參數伺服器架構
4 1 3 All-Reduce架構
4 1 4 最新通信方案的效率問題
4 2 利用空閑鏈路和主機資源
4 2 1 TreeAll-Reduce
4 2 2 通過PCIe和NVLink進行混合數據傳輸
4 3 設備內存瓶頸
4 4 重新計算和量化
4 4 1 重新計算
4 4 2 量化
4 5 小結
第2篇 模型并行
第5章 拆分模型
5 1 技術要求
5 2 單節點訓練錯誤——內存不足
5 2 1 在單個GPU上微調BERT
5 2 2 嘗試將一個巨型模型打包到單個GPU中
5 3 ELMo、BERT和GPT
5 3 1 基本概念
5 3 2 循環神經網絡
5 3 3 ELMo
5 3 4 BERT
5 3 5 GPT
5 4 預訓練和微調
5 5 最先進的硬體
5 5 1 P100、V100和DGX-
5 5 2 NVLink
5 5 3 A100和DGX-
5 5 4 NVSwitch
5 6 小結
第6章 管道輸入和層拆分
6 1 普通模型并行的低效問題
6 1 1 前向傳播
6 1 2 反向傳播
6 1 3 前向傳播和反向傳播之間的GPU空閑時間
6 2 管道輸入
6 3 管道并行的優缺點
6 3 1 管道并行的優勢
6 3 2 管道并行的缺點
6 4 層拆分
6 5 關於層內模型并行的注意事項
6 6 小結
第7章 實現模型并行訓練和服務工作流程
7 1 技術要求
7 2 整個模型并行管道概述
7 2 1 模型并行訓練概述
7 2 2 實現模型并行訓練管道
7 2 3 指定GPU之間的通信協議
7 2 4 模型并行服務
7 3 微調Transformer
7 4 模型并行中的超參數調優
7 4 1 平衡GPU之間的工作負載
7 4 2 啟用/禁用管道并行
7 5 NLP模型服務
7 6 小結
第8章 實現更高的吞吐量和更低的延遲
8 1 技術要求
8 2 凍結層
8 2 1 在前向傳播期間凍結層
8 2 2 在前向傳播期間降低計算成本
8 2 3 在反向傳播期間凍結層
8 3 探索內存和存儲資源
8 4 了解模型分解和蒸餾
8 4 1 模型分解
8 4 2 模型蒸餾
8 5 減少硬體中的位數
8 6 小結
第3篇 高級并行範式
第9章 數據并行和模型并行的混合
9 1 技術要求
9 2 Megatron-LM用例研究
9 2 1 模型并行和層拆分
9 2 2 按行試錯法
9 2 3 按列試錯法
9 2 4 跨機數據并行
9 3 Megatron-LM的實現
9 4 Mesh-TensorFlow用例研究
9 5 Mesh-TensorFlow的實現
9 6 Megatron-LM和Mesh-TensorFlow的比較
9 7 小結
第10章 聯合學習和邊緣設備
10 1 技術要求
10 2 共享知識而不共享數據
10 2 1 傳統數據并行模型訓練範式
10 2 2 工作節點之間沒有輸入共享
10 2 3 在工作節點之間通信以同
詳細資料或其他書籍請至台灣高等教育出版社查詢，查後請於客服中心或Line或本社留言板留言，我們即儘速上架。

大陸簡體正版圖書，訂購後正常情形下約兩周可抵台。