從零構建大模型-演算法,訓練與微調 梁楠 9787302685616 【台灣高等教育出版社】

*書籍均為代購，我們向大陸付款發訂後即無法取消，為避免造成不必要的損失，
下訂前請慎重考慮！下訂前請慎重考慮！謝謝。
*完成訂單後正常情形下約兩周可抵台。
*本賣場提供之資訊僅供參考，以到貨標的為正確資訊。
印行年月：202504*若逾兩年請先於客服中心或Line洽詢存貨情況，謝謝。
台灣(台北市)在地出版社，每筆交易均開具統一發票，祝您中獎最高1000萬元。
書名：從零構建大模型-演算法,訓練與微調
ISBN：9787302685616
出版社：清華大學
著編譯者：梁楠
頁數：284
所在地：中國大陸 *此為代購商品
書號：1721038
可大量預訂，請先連絡。

內容簡介

本書是一本系統且實用的大模型構建指南，旨在引領讀者從基礎知識起步，逐步深入探索大模型的算法原理、訓練方法及微調技術。本書共12章，涵蓋了Transformer模型的基礎理論，如Seq2Seq模型、分詞、嵌入層和自注意力機制等關鍵概念；並深入剖析了GPT模型的核心實現與文本生成過程，以及BERT模型的預訓練和微調技術。同時，也對ViT（視覺Transformer）模型的架構、訓練方法，以及高階微調策略如Adapter Tuning和P-Tuning進行了詳盡講解。此外，還系統地介紹了數據處理、數據增強、模型性能優化（包括混合精度訓練和分散式訓練）、對比學習、對抗訓練、自適應優化器、動態學習率調度，以及模型蒸餾與剪枝技術等多個方面。最後，通過應用案例，展示了模型訓練和微調的完整流程，助力讀者將理論知識轉化為實踐技能。 全書注重理論與實踐的結合，適合希望系統掌握大模型構建、訓練和優化的研發人員、高校學生，也適合對自然語言處理、計算機視覺等領域的大模型開發有興趣的讀者。還可作為培訓機構和高校相關課程的教學用書。

作者簡介

梁楠，博士，畢業於北京航空航天大學，高級職稱，長期從事模式識別、機器學習、統計理論的研究與應用，負責或參与科研項目多項，專註於人工智能、大語言模型的應用與開發，對深度學習、數據分析與預測等有獨到見解。

目錄

引言
一、大模型技術的發展歷史
1 基於規則和統計學習的早期階段
2 神經網絡與深度學習的崛起
3 Transformer的誕生與自注意力機制的崛起
4 預訓練模型的興起：BERT、GPT和T
5 超大規模模型與多模態應用
二、開發環境配置基礎
1 硬體配置要求
2 軟體依賴與環境搭建
3 常見問題與解決方案
第1章 Transformer模型基礎
1 1 Seq2Seq模型
1 1 1 編碼器-解碼器工作原理
1 1 2 Seq2Seq結構實現
1 2 分詞與嵌入層
1 2 1 分詞器：將文本轉換為嵌入向量
1 2 2 PyTorch實現嵌入層（將分詞后的結果輸入模型）
1 3 自注意力與多頭注意力機制
1 3 1 自注意力機制計算過程（QKV矩陣生成和點積運算）
1 3 2 多頭注意力機制與Transformer
1 4 殘差連接與層歸一化
1 4 1 殘差連接層的實現
1 4 2 層歸一化與訓練穩定性
1 5 位置編碼器
1 5 1 位置編碼的計算與實現
1 5 2 位置編碼在無序文本數據中的作用
1 6 本章小結
1 7 思考題
第2章 GPT模型文本生成核心原理與實現
2 1 GPT-2核心模塊
2 1 1 層堆疊
2 1 2 GPT-2中的注意力機制
2 2 GPT模型的文本生成過程
2 2 1 詳解GPT-2文本生成過程
2 2 2 Greedy Search和Beam Search算法的實現與對比
2 3 模型效果評估與調優
2 3 1 模型常見評估方法
2 3 2 基於困惑度的評估過程
2 4 本章小結
2 5 思考題
第3章 BERT模型核心實現與預訓練
3 1 BERT模型的核心實現
3 1 1 編碼器堆疊
3 1 2 BERT的自注意力機制與掩碼任務
3 2 預訓練任務：掩碼語言模型（MLM）
3 2 1 MLM任務實現過程
3 2 2 如何對輸入數據進行隨機遮掩並預測
3 3 BERT模型的微調與分類任務應用
3 4 本章小結
3 5 思考題
第4章 ViT模型
4 1 圖像分塊與嵌入
4 2 ViT模型的核心架構實現
4 2 1 ViT模型的基礎結構
4 2 2 自注意力和多頭注意力在圖像處理中的應用
4 3 訓練與評估ViT模型
4 4 ViT模型與注意力嚴格量化分析
4 5 本章小結
4 6 思考題
第5章 高階微調策略：Adapter Tuning與P-Tuning
5 1 Adapter Tuning的實現
5 2 LoRA Tuning實現
5 3 Prompt Tuning與P-Tuning的應用
5 3 1 Prompt Tuning
5 3 2 P-Tuning
5 3 3 Prompt Tuning和P-Tuning組合微調
5 3 4 長文本情感分類模型的微調與驗證
5 4 本章小結
5 5 思考題
第6章 數據處理與數據增強
6 1 數據預處理與清洗
6 1 1 文本數據預處理
6 1 2 文本數據清洗
6 2 文本數據增強
6 2 1 同義詞替換
6 2 2 隨機插入
6 2 3 其他類型的文本數據增強方法
6 3 分詞與嵌入層的應用
6 3 1 深度理解分詞技術
6 3 2 嵌入向量的生成與優化
6 3 3 文本預處理與數據增強綜合案例
6 4 本章小結
6 5 思考題
第7章 模型性能優化：混合精度訓練與分散式訓練
7 1 混合精度訓練的實現
7 2 多GPU并行與分散式訓練的實現
7 2 1 分散式訓練流程與常規配置方案
7 2 2 Data Parallel方案
7 2 3 Model Parallel方案
7 3 梯度累積的實現
7 3 1 梯度累積初步實現
7 3 2 小批量訓練中的梯度累積
7 3 3 梯度累積處理文本分類任務
7 4 本章小結
7 5 思考題
第8章 對比學習與對抗訓練
8 1 對比學習
8 1 1 構建正負樣本對及損失函數
8 1 2 SimCLR的實現與初步應用
8 2 基於對比學習的預訓練與微調
8 2 1 通過對比學習進行自監督預訓練
8 2 2 對比學習在分類、聚類等任務中的表現
8 3 生成式對抗網絡的實現與優化
8 4 對抗訓練在大模型中的應用
8 5 本章小結
8 6 思考題
第9章 自適應優化器與動態學習率調度
9 1 AdamW優化器與LAMB優化器的實現
9 1 1 AdamW優化器
9 1 2 LAMB優化器
9 2 基於梯度累積的優化技巧
9 2 1 大批量內存受限環境
9 2 2 梯度累積的應用場景和參數調整對訓練效果的影響
9 3 動態學習率調度
9 3 1 線性衰減
9 3 2 餘弦退火
9 4 Warmup與循環學習率調度
9 4 1 Warmup策略實現
9 4 2 循環學習率調度
9 4 3 其他幾種常見的動態學習調度器
9 5 本章小結
9 6 思考題
第10章 模型蒸餾與剪枝
10 1 知識蒸餾：教師-學生模型
10 1 1 知識蒸餾核心過程
10 1 2 教師-學生模型
10 1 3 蒸餾損失
10 2 知識蒸餾在文本模型中的應用
10 2 1 知識蒸餾在文本分類模型中的應用
10 2 2 模型蒸餾效率分析
10 2 3 文本情感分析任務中的知識蒸餾效率對比
10 3 模型剪枝技術
10 3 1 權重剪枝
10 3 2 結構化剪枝
詳細資料或其他書籍請至台灣高等教育出版社查詢，查後請於客服中心或Line或本社留言板留言，我們即儘速上架。

大陸簡體正版圖書，訂購後正常情形下約兩周可抵台。