MindSpore大語言模型實戰 陳雷 9787115644404 【台灣高等教育出版社】
圖書均為代購，正常情形下，訂後約兩周可抵台。
物品所在地：中國大陸
原出版社：人民郵電
物品所在地：中國大陸
原出版社：人民郵電
NT$381
商品編號:
供貨狀況:
尚有庫存
加入最愛
此商品 「 最高 」可以折抵紅利
0
點
(約等於 NT$0 )
商品介紹
| *完成訂單後正常情形下約兩周可抵台。 *本賣場提供之資訊僅供參考，以到貨標的為正確資訊。 印行年月：202410*若逾兩年請先於私訊洽詢存貨情況，謝謝。 台灣(台北市)在地出版社，每筆交易均開具統一發票，祝您中獎最高1000萬元。 書名：MindSpore大語言模型實戰 ISBN：9787115644404 出版社：人民郵電 著編譯者：陳雷 叢書名：MindSpore計算與應用叢書 頁數：161 所在地：中國大陸 *此為代購商品 書號：1681032 可大量預訂，請先連絡。 內容簡介 隨著ChatGPT等大語言模型的迅速發展，大語言模型已經成為人工智慧領域發展的快車道，不同領域湧現出各種強大的新模型。開發者想要獨立構建、部署符合自身需求的大語言模型，需要理解大語言模型的實現框架和基本原理。 本書梳理大語言模型的發展，首先介紹Transformer模型的基本原理、結構和模塊及在NLP任務中的應用；然後介紹由只編碼（Encoder-Only）到只解碼（Decoder-Only）的技術路線發展過程中對應的BERT、GPT等大語言模型；接下來介紹大語言模型在部署、訓練、調優過程中涉及的各種關鍵技術，如自動并行、預訓練與微調、RLHF等，並提供相應的實踐指導；最後以開源大語言模型BLOOM和LLaMA為樣例，介紹其架構和實現過程，幫助讀者理解並構建、部署自己的大語言模型。本書還提供了基於MindSpore框架的豐富樣例代碼。 本書適合人工智慧、智能科學與技術、計算機科學與技術、電子信息工程、自動化等專業的本科生和研究生閱讀，同時也為從事大語言模型相關工作的軟體開發工程師和科研人員提供翔實的參考資料。作者簡介 陳雷，香港科技大學計算機科學與工程系教授，大數據研究所主任，IEEE Fellow和ACM傑出科學家。研究方向包括數據驅動Al、人機共生機器學習、知識圖譜、社交媒體上的數據挖掘等。在國際著名期刊和會議上發表300餘篇論文，曾獲得2015年SIGMOD最具時間價值獎。現任VLDB 2019程序委員會聯合主席、VLDB期刊主編、IEEETKDE期刊副總編輯、VLDBEndowment執行成員。目錄 第1章 大語言模型的發展1 1 人工智慧的發展階段 1 2 從深度學習到大語言模型 第2章 Transformer模型 2 1 Transformer模型的基本原理 2 1 1 注意力機制 2 1 2 自注意力機制 2 1 3 多頭注意力機制 2 2 Transformer模型的結構和模塊 2 2 1 位置編碼 2 2 2 編碼器 2 2 3 解碼器 2 2 4 模型代碼 2 3 Transformer模型在NLP任務中的應用 2 4 使用MindSpore實現基於Transformer模型的文本機器翻譯模型 2 4 1 數據集準備與數據預處理 2 4 2 模型構建 2 4 3 模型訓練與評估 2 4 4 模型推理 2 5 參考文獻 第3章 BERT實踐 3 1 BERT基本原理 3 2 BERT結構 3 3 BERT預訓練 3 4 BERT微調 3 5 使用MindSpore實現數據并行的BERT預訓練 3 6 參考文獻 第4章 GPT實踐 4 1 GPT基本原理 4 2 GPT訓練框架 4 2 1 無監督預訓練 4 2 2 有監督微調 4 2 3 GPT下游任務及模型輸入 4 3 使用MindSpore實現GPT的微調 4 3 1 數據預處理 4 3 2 模型定義 4 3 3 模型訓練 4 3 4 模型評估 4 4 參考文獻 第5章 GPT-2實踐 5 1 GPT-2的基本原理 5 2 GPT-2的技術創新與改進 5 3 GPT-2的優缺點 5 4 使用MindSpore實現GPT-2的微調 5 5 參考文獻 第6章 自動并行 6 1 數據并行原理 6 2 運算元并行原理 6 3 優化器并行原理 6 3 1 背景及意義 6 3 2 基本原理 6 4 流水線并行原理 6 4 1 背景及意義 6 4 2 基本原理 6 5 MoE并行原理 6 5 1 背景及意義 6 5 2 演算法原理 6 6 自動并行策略搜索 6 6 1 策略搜索定位 6 6 2 策略搜索演算法 6 6 3 MindSpore實踐 6 7 異構計算 6 7 1 計算流程 6 7 2 優化器異構 6 7 3 詞表異構 6 7 4 參數伺服器異構 6 7 5 多層存儲 6 8 大語言模型性能分析 6 8 1 縮短單個模塊耗時 6 8 2 提高不同模塊任務間的并行度 6 9 MindFormers介面 6 9 1 準備工作 6 9 2 Trainer高階介面快速入門 6 9 3 Pipeline推理介面快速入門 6 9 4 AutoClass快速入門 6 9 5 Transformer介面介紹 6 10 參考文獻 第7章 大語言模型預訓練與微調 7 1 預訓練大語言模型代碼生成 7 1 1 多語言代碼生成模型CodeGeeX 7 1 2 多語言代碼生成基準HumanEval 7 2 提示調優 7 2 1 提示流程 7 2 2 提示模板 7 2 3 優缺點分析 7 3 指令調優 7 3 1 基本流程 7 3 2 指令模板 7 3 3 優缺點分析 7 4 參考文獻 第8章 基於人類反饋的強化學習 8 1 基本原理 8 2 強化學習 8 2 1 核心思想 8 2 2 關鍵元素 8 2 3 策略與價值函數 8 2 4 PPO演算法 8 3 InstructGPT和ChatGPT中的RLHF 8 3 1 訓練流程 8 3 2 訓練任務 8 3 3 模型效果 8 4 優缺點分析 8 5 參考文獻 第9章 BLOOM和LLaMA模型實踐 9 1 BLOOM介紹 9 1 1 模型結構 9 1 2 預訓練數據集 9 2 BLOOM實現 9 2 1 BLOOM架構實現 9 2 2 BLOOM總結 9 3 基於BLOOM的微調 9 3 1 數據集準備 9 3 2 Checkpoint轉換 9 3 3 生成集群通信表 9 3 4 啟動預訓練或微調 9 3 5 微調后的對話效果 9 4 LLaMA模型介紹 9 4 1 模型結構 9 4 2 預訓練 9 4 3 SFT與RLHF 9 5 LLaMA模型實現 9 5 1 LLaMA模型模塊實現 9 5 2 LLaMA模型結構實現 9 6 基於LLaMA模型的微調 9 6 1 數據集準備 9 6 2 ckpt轉換 9 6 3 生成集群通信表 9 6 4 啟動微調 9 6 5 微調效果 9 7 參考文獻 詳細資料或其他書籍請至台灣高等教育出版社查詢，查後請於PChome商店街私訊告知ISBN或書號，我們即儘速上架。 |
