作者簡介 凌峰 博士,目前就職于某985高校,長期從事機器學習、人工智能、計算機視覺與大模型領域的研發與教學,在模型優化、訓練加速、數據驅動算法開發等方面有深刻見解,參与並主導多項相關科研項目。
目錄 第1章 Transformer與PyTorch的集成應用概述
1 1 大模型與Transformer的技術背景
1 1 1 自注意力機制的原理與實現細節
1 1 2 多層堆疊與殘差連接:Transformer的高效信息流
1 2 PyTorch的應用場景與技術特點
1 2 1 動態圖計算與自動微分機制
1 2 2 GPU加速與多設備支持
1 3 快速上手:使用PyTorch實現一個簡單的Transformer模型
1 3 1 Transformer編碼器的基礎實現與訓練流程
1 3 2 解碼器與完整Transformer模型的拼接與測試
1 4 本章小結
1 5 思考題
第2章 Transformer編碼器與解碼器的原理與實現
2 1 Transformer編碼器與解碼器結構分析
2 1 1 位置編碼的設計與實現
2 1 2 多頭注意力與前饋層的層次關係
2 2 基於PyTorch實現編碼器-解碼器架構
2 2 1 多頭注意力模塊的獨立實現與測試
2 2 2 殘差連接與層歸一化的模塊化實現
2 3 Transformer的編碼解碼過程
2 3 1 編碼器多層堆疊與信息流動的實現
2 3 2 解碼器自回歸生成過程的實現與可視化
2 3 3 基於文本的Transformer實例:逐步列印編碼解碼過程
2 4 編碼器和解碼器的雙向訓練流程
2 4 1 編碼器與解碼器的聯合訓練策略
2 4 2 掩碼機制在雙向訓練中的應用
2 5 本章小結
2 6 思考題
第3章 注意力機制與多頭注意力的實現
3 1 注意力機制的基礎與實現原理
3 1 1 點積注意力與縮放機制
3 1 2 注意力權重的歸一化與Softmax函數應用
3 2 多頭注意力的設計與實現細節
3 2 1 多頭分組與并行計算策略
3 2 2 多頭注意力的拼接與線性變換
3 3 使用PyTorch實現多頭注意力並進行可視化
3 3 1 注意力矩陣的生成與可視化
3 3 2 不同頭注意力分佈的可視化分析
3 4 多頭注意力權重的提取與應用
3 4 1 多頭注意力權重提取與解讀:理解模型的關注點
3 4 2 多頭注意力權重的優化與調控
3 5 本章小結
3 6 思考題
第4章 Hugging Face Transformers庫的應用
4 1 Transformer模型的載入與配置
4 1 1 預訓練模型的載入與管理
4 1 2 模型配置自定義與參數調整
4 2 使用Hugging Face庫進行模型訓練與推理
4 2 1 模型訓練數據的預處理與標註
4 2 2 訓練過程中的參數優化與監控
4 3 Hugging Face生態系統的其他工具介紹
4 3 1 Tokenizer的自定義與高效分詞方法
4 3 2 Dataset和Pipeline工具的集成應用
4 4 自定義Hugging Face的模型訓練流程
4 4 1 自定義訓練循環與評估指標
4 4 2 遷移學習與微調:從預訓練到特定任務
4 5 本章小結
4 6 思考題
第5章 數據預處理與文本分詞技術
5 1 文本數據的清洗與標準化
5 1 1 特殊字元和標點的處理
5 1 2 停用詞去除與大小寫規範化
5 2 分詞方法及其在不同模型中的應用
5 2 1 詞級分詞與子詞分詞
5 2 2 BPE與WordPiece分詞算法的實現原理
5 3 使用PyTorch和Hugging Face進行分詞與詞嵌入
5 3 1 基於Hugging Face Tokenizer的高效分詞
5 3 2 Embedding層的定義與詞嵌入矩陣的初始化
5 4 動態分詞與序列截斷技術
5 4 1 處理變長文本輸入
5 4 2 長序列的截斷與填充
5 4 3 綜合案例:文本清洗、分詞、詞嵌入與動態填充
5 5 本章小結
5 6 思考題
第6章 模型微調與遷移學習
6 1 微調與遷移學習的基本概念與方法
6 1 1 遷移學習的體繫結構:模型的選擇與適配
6 1 2 全參數微調與部分參數微調的優缺點
6 2 使用預訓練模型進行領域微調
6 2 1 領域特定數據的預處理與載入
6 2 2 調節學習率與損失函數
6 3 微調策略與優化技巧:凍結層、增量訓練等
6 3 1 凍結模型層的選擇與解凍
6 3 2 增量訓練中的數據選擇與樣本權重分配
6 4 增量學習:如何在新數據上繼續微調
6 4 1 基於新數據的微調策略:避免災難性遺忘
6 4 2 使用正則化與約束技術保持原模型性能
6 4 3 綜合案例:增量學習中的微調策略與優化
6 5 本章小結
6 6 思考題
第7章 文本生成與推理技術
7 1 文本生成方法概述:Beam Search、Top-K與Top-P採樣
7 1 1 Beam Search的多路徑生成與評估
7 1 2 Top-K採樣的限制與稀疏性控制
7 1 3 Top-P採樣的自適應概率截斷機制
7 2 文本生成模型的應用實例
7 2 1 使用預訓練語言模型生成長篇文本
7 2 2 生成多輪對話的上下文保持與管理
7 2 3 引導生成特定情緒的文本
7 3 生成模型的實現與優化
7 3 1 使用PyTorch和Transformers庫實現生成模型
7 3 2 生成模型的批量處理與并行加速
7 3 3 生成結果的后處理與數據清洗
7 4 控制生成式模型輸出的技術手段
7 4 1 溫度調控參數的設置與生成調節
7
詳細資料或其他書籍請至台灣高等教育出版社查詢,查後請於客服中心或Line或本社留言板留言,我們即儘速上架。