百面大模型 包夢蛟 劉如日 朱俊達 9787115662217 【台灣高等教育出版社】

*書籍均為代購，我們向大陸付款發訂後即無法取消，為避免造成不必要的損失，
下訂前請慎重考慮！下訂前請慎重考慮！謝謝。
*完成訂單後正常情形下約兩周可抵台。
*本賣場提供之資訊僅供參考，以到貨標的為正確資訊。
印行年月：202505*若逾兩年請先於客服中心或Line洽詢存貨情況，謝謝。
台灣(台北市)在地出版社，每筆交易均開具統一發票，祝您中獎最高1000萬元。
書名：百面大模型
ISBN：9787115662217
出版社：人民郵電
著編譯者：包夢蛟 劉如日 朱俊達
頁數：370
所在地：中國大陸 *此為代購商品
書號：1732112
可大量預訂，請先連絡。

編輯推薦

覆蓋95%大模型面試高頻考點，緊緊圍繞大模型發展的核心要點展開，用問答形式提煉精華，快速掌握關鍵知識。

內容簡介

本書收錄了約百道大模型工程師常見的面試題目和解答，系統、全面地介紹了與大模型相關的技術，涵蓋語義表達、數據預處理、預訓練、對齊、垂類微調、組件、評估、架構、檢索增強生成（RAG）、智能體、PEFT（參數高效微調），以及訓練與推理等內容。書中通過豐富的實例、圖表及代碼講解，將複雜概念闡釋得通俗易懂，是大模型領域的一本不可多得的實用指南。本書適合對大模型和Transformer等技術感興趣的學生、研究者和工程師閱讀和參考。

作者簡介

包夢蛟 北京航空航天大學碩士，美團北斗計劃高級算法專家，負責大眾點評大模型應用落地開發，曾獲得Kaggle Grandmaster稱號、KDD CUP 2024冠軍，業餘時間撰寫知乎專欄和公眾號「包包算法筆記」，全網關注數5萬+。

目錄

第1章 語義表達
1 1 詞向量與語義信息
1 1 1 稀疏詞向量
1 1 2 分散式語義假設
1 1 3 稠密詞向量
1 2 溢出詞表詞的處理方法
1 3 分詞方法的區別與影響
1 3 1 詞（word）
1 3 2 子詞（subword）
1 3 3 字元（char）
1 4 詞向量與語義相似度
1 5 構建句子向量
1 6 預訓練的位置編碼
1 7 BERT的不同嵌入類型
1 8 大模型語義建模的典型架構
第2章 大模型的數據
2 1 大模型訓練開源數據集
2 2 大模型不同訓練環節與數據量
2 3 大模型數據預處理
2 3 1 數據的質量
2 3 2 數據的多樣性
2 4 大模型擴展法則
2 5 持續預訓練與災難性遺忘
2 6 大模型指令微調的數據篩選
第3章 大模型的預訓練
3 1 預訓練與監督微調辨析
3 2 大模型的湧現能力
3 3 大模型預訓練階段的實驗提效方法
3 4 大模型開發流程三階段：預訓練、監督微調和強化學習
3 4 1 大模型預訓練
3 4 2 大模型的監督微調
3 4 3 大模型的強化學習
3 5 大模型訓練顯存計算與優化
3 6 大模型訓練通信開銷計算
3 6 1 集合通信原語
3 6 2 數據并行的工作原理和通信開銷計算
3 6 3 張量并行的工作原理和通信開銷計算
3 6 4 流水線并行的工作原理和通信開銷計算
3 6 5 使用ZeRO優化技術時的通信開銷計算
第4章 大模型的對齊
4 1 對齊數據構造
4 2 PPO算法
4 3 獎勵模型訓練
4 4 PPO穩定訓練的方法
4 4 1 設計合理的評估指標對PPO訓練過程進行監控
4 4 2 對損失和梯度進行標準化和裁剪
4 4 3 改進損失函數
4 4 4 優化評論家模型和演員模型的初始化方式
4 5 DPO算法
4 6 DPO與PPO辨析
4 6 1 計算資源方面：DPO所需計算資源比PPO少
4 6 2 訓練穩定性方面：DPO的訓練穩定性高於PPO
4 6 3 效果方面：PPO的泛化能力優於DPO
4 7 其他偏好對齊方法綜述
4 7 1 PPO類
4 7 2 DPO類
4 7 3 非強化學習類
4 7 4 數據類
4 8 對齊訓練穩定性監測
4 8 1 監督微調階段
4 8 2 強化學習對齊訓練階段
4 9 大模型后訓練環節辨析
第5章 大模型的垂類微調
5 1 （垂類）監督微調
5 2 后訓練的詞表擴充
5 3 有效的長度外推方法
5 4 大模型微調的損失函數
5 4 1 CrossEntropyLoss（交叉熵損失）
5 4 2 z-loss
5 4 3 EMOloss
5 5 大模型知識注入方法
5 5 1 模型的繼續預訓練與監督微調
5 5 2 檢索增強生成
第6章 大模型的組件
6 1 Transformer的架構
6 2 注意力分數計算細節
6 3 詞元化算法的區別與特點
6 3 1 基於單詞的詞元化
6 3 2 基於字元的詞元化
6 3 3 基於子詞的詞元化
6 4 RoPE
6 5 ALiBi
6 5 1 ALiBi的工作原理
6 5 2 ALiBi的外推能力實驗
6 5 3 ALiBi的訓練推理效率實驗
6 5 4 ALiBi的代碼實現
6 6 SparseAttention
6 7 LinearAttention
6 8 多頭注意力機制及其優化（MHA、MQA和GQA）
6 8 1 多頭注意力機制的代碼實現
6 8 2 Transformer解碼器在解碼過程中的性能瓶頸
6 8 3 多查詢注意力和分組查詢注意力的工作原理
6 9 各種歸一化方法
6 9 1 歸一化方法的作用
6 9 2 BatchNorm的工作原理
6 9 3 LayerNorm的工作原理
6 9 4 RMSNorm的工作原理
6 10 歸一化模塊位置的影響——PostNorm和PreNorm
6 10 1 PostNorm和PreNorm的工作原理
6 10 2 PostNorm和PreNorm的差異
6 11 Dropout機制
6 11 1 Dropout的實現流程和原理
6 11 2 避免訓練和推理時的期望偏移
6 11 3 避免訓練和推理時的方差偏移
6 12 模型訓練參數初始化方法概述
6 12 1 固定值初始化
6 12 2 預訓練初始化
6 12 3 基於固定方差的初始化
6 12 4 基於方差縮放的初始化
第7章 大模型的評估
7 1 大模型的評測榜單與內容
7 2 大模型評測的原則
7 3 大模型的修復方法
7 3 1 badcase定義
7 3 2 badcase修復思路
7 3 3 實踐解法
7 4 生成式模型的評測指標
7 5 大模型的自動化評估
7 6 大模型的對抗性測試
7 7 大模型的備案流程
第8章 大模型的架構
8 1 因果解碼器架構成為主流的原因
8 2 大模型的集成融合方法
8 3 MoE
第9章 檢索增強生成
9 1 RAG的組成與評估
9 2 RAG中的召回方法
9 3 RAG與重排
9 4 RAG的工程化問題
第10章 大模型智能體
10 1 智能體的組成
10 2 智能體的規劃能力
10 3 智能體的記憶模塊
10 4 智能體的工具調用
10 5 XAgent框架
10 6 AutoGen框架
10 7 智能體框架實踐
第11章 大模型PEFT
11 1 LoRA
詳細資料或其他書籍請至台灣高等教育出版社查詢，查後請於客服中心或Line或本社留言板留言，我們即儘速上架。

大陸簡體正版圖書，訂購後正常情形下約兩周可抵台。