大模型輕量化-模型壓縮與訓練加速 梁志遠 9787302686002 【台灣高等教育出版社】

*書籍均為代購，我們向大陸付款發訂後即無法取消，為避免造成不必要的損失，
下訂前請慎重考慮！下訂前請慎重考慮！謝謝。
*完成訂單後正常情形下約兩周可抵台。
*本賣場提供之資訊僅供參考，以到貨標的為正確資訊。
印行年月：202504*若逾兩年請先於客服中心或Line洽詢存貨情況，謝謝。
台灣(台北市)在地出版社，每筆交易均開具統一發票，祝您中獎最高1000萬元。
書名：大模型輕量化-模型壓縮與訓練加速
ISBN：9787302686002
出版社：清華大學
著編譯者：梁志遠
頁數：384
所在地：中國大陸 *此為代購商品
書號：1721043
可大量預訂，請先連絡。

內容簡介

本書圍繞大模型輕量化這一主題，系統地闡述大模型輕量化的基本理論與實現方法，旨在提升模型的部署效率和計算性能。全書分為3部分，共10章。第1部分（第1～5章），介紹大模型的背景與面臨的問題，以及Transformer和MoE架構的基本原理；重點講解模型壓縮、訓練加速和推理優化等核心技術，包括量化、蒸餾和剪枝等，並通過實際案例驗證其效果。第2部分（第6、7章），重點介紹端側學習與計算引擎優化策略，尤其是動態Batch和異構執行的工程實現。第3部分（第8～10章），針對高性能運算元庫與手工運算元開發，分別以cuDNN、NEON、CUDA等為代表，揭示運算元優化的細節，最後，以國產開源模型DeepSeek-V3為例，展現從訓練到推理的綜合優化方案。 本書提供全面實用的輕量化方法論，結合豐富代碼示例與實踐案例，適合從事大模型開發與優化的工程師，也為研究人員提供深入探討的素材與視角，助力解決大模型訓練與推理中的實際問題。

作者簡介

梁志遠 畢業於北京航空航天大學。長期從事人工智能、大語言模型的開發，專註于深度學習、自然語言處理、數據分析與智能決策等領域。主持或參与過多項科研項目，涵蓋模型訓練優化、知識蒸餾、自動推理與多模態學習等方面。致力於推動人工智能技術在工業應用、智能交互與數據驅動中的實踐與發展。

目錄

第1部分 大模型概述與核心優化技術
第1章 大模型基本概念
1 1 大模型的興起與發展
1 1 1 大規模神經網絡
1 1 2 Transformer編碼器——解碼器
1 1 3 MoE架構
1 2 計算資源與性能瓶頸
1 2 1 GPU簡介
1 2 2 TPU簡介
1 2 3 網絡帶寬約束與分散式訓練
1 2 4 大模型的訓練時間與計算資源消耗問題
1 3 數據與隱私問題
1 3 1 急劇增加的數據量
1 3 2 數據隱私保護與合規性
1 4 模型部署與運維
1 4 1 模型部署基本概念
1 4 2 雲計算與邊緣計算
1 4 3 端側部署
1 4 4 大模型運行與維護
1 5 本章小結
1 6 思考題
第2章 模型壓縮、訓練與推理
2 1 模型壓縮概述
2 1 1 模型壓縮簡介
2 1 2 常見的模型壓縮方法分類
2 2 訓練加速基礎
2 2 1 數據并行與模型并行
2 2 2 混合精度訓練
2 2 3 分散式訓練框架：Horovod
2 3 推理加速基礎
2 3 1 硬體加速與推理引擎
2 3 2 低延遲與高春吐量平衡
2 3 3 推理優化實戰：批量推理
2 4 性能評估指標
2 4 1 計算複雜度與性能指標
2 4 2 延遲、吞吐量與精度之間的權衡
2 4 3 評估工具與基準測試
2 5 本章小結
2 6 思考題
第3章 模型格式轉換
3 1 模型格式的定義與轉換
3 1 1 常見的模型格式：ONNX、TensorFlow的SavedModel
3 1 2 模型格式轉換實現
3 1 3 模型的兼容性問題
3 2 跨框架模型轉換
3 2 1 TensorFlow到PyTorch的模型轉換
3 2 2 ONNX與TensorFlow、PyTorch的兼容性
3 2 3 轉換時的精度損失問題
3 3 硬體相關的格式轉換
3 3 1 從PyTorch到TensorRT
3 3 2 ONNX模型與NVIDIA TensorRT的兼容性
3 3 3 模型格式與硬體加速的關係
3 4 模型格式轉換的工具與庫
3 4 1 使用ONNX進行跨平台轉換
3 4 2 TensorFlow Lite與Edge模型優化
3 5 本章小結
3 6 思考題
第4章 圖優化
4 1 運算元融合技術
4 1 1 運算元融合的原理
4 1 2 典型運算元融合算法的實現
4 1 3 實驗：運算元融合對推理性能的提升
4 2 布局轉換與優化
4 2 1 張量布局的原理
4 2 2 內存訪問優化與布局選擇
4 3 運算元替換技術
4 3 1 用低開銷運算元替換高開銷運算元
4 3 2 常見的運算元替換策略
4 4 顯存優化
4 4 1 顯存佔用分析與優化
4 4 2 梯度檢查點與顯存共享
4 4 3 動態顯存分配與內存池管理
4 5 本章小結
4 6 思考題
第5章 模型壓縮
5 1 量化
5 1 1 定點量化與浮點量化的區別
5 1 2 量化算法與工具：TensorFlow Lite
5 1 3 量化帶來的精度損失問題
5 2 知識蒸餾
5 2 1 知識蒸餾的基本概念與應用場景
5 2 2 知識蒸餾的損失函數與訓練過程
5 2 3 如何選擇蒸餾——教師網絡模型
5 3 剪枝
5 3 1 網絡剪枝基本原理
5 3 2 基於權重剪枝與結構化剪枝
5 3 3 剪枝后的精度恢復方案
5 4 二值化與極端壓縮
5 4 1 二值化網絡的構建與訓練
5 4 2 二值化對計算與存儲的影響
5 5 本章小結
5 6 思考題
第2部分 端側學習與高效計算引擎優化
第6章 端側學習、端側推理及計算引擎優化
6 1 聯邦學習概述
6 1 1 聯邦學習的基本概念與應用
6 1 2 聯邦學習中的隱私保護機制、通信與聚合算法
6 2 數據處理與預處理
6 2 1 數據清洗與增廣技術
6 2 2 數據均衡與過採樣策略
6 2 3 端側數據處理的資源限制
6 3 Trainer與優化器設計
6 3 1 端側訓練的挑戰與策略
6 3 2 高效優化器（如SGD、Adam）的選擇
6 3 3 動態調整學習率與訓練過程監控
6 4 損失函數的設計與選擇
6 4 1 常見的損失函數與應用場景
6 4 2 多任務學習中的損失函數設計
6 4 3 損失函數的數值穩定性
6 5 Benchmark設計與性能評估
6 5 1 經典Benchmark與定製Benchmark
6 5 2 推理與訓練性能的綜合評估
6 5 3 性能瓶頸的識別與優化
6 6 IR的作用與優化
6 6 1 IR的定義及作用
6 6 2 IR轉換與優化策略
6 7 Schema的設計與規範
6 7 1 數據格式與模型介面的設計
6 7 2 數據流與計算圖的規範化
6 8 動態Batch與內存調度
6 8 1 動態Batch的選擇與調整
6 8 2 內存調度與性能優化
6 8 3 優化內存利用率與減少內存溢出
6 9 異構執行與優化
6 9 1 GPU與CPU的
詳細資料或其他書籍請至台灣高等教育出版社查詢，查後請於客服中心或Line或本社留言板留言，我們即儘速上架。

大陸簡體正版圖書，訂購後正常情形下約兩周可抵台。