大規模語言模型開發基礎與實踐 王振麗 9787301352595 【台灣高等教育出版社】

編輯推薦
內容全面深入，技術覆蓋範圍廣
大量實操案例，演算法技能提升快
精通數據處理，性能提升策略全

內容簡介
本書循序漸進、詳細講解了大模型開發技術的核心知識，並通過具體實例的實現過程演練了使用TensorFlow和PyTorch開發大模型程序的方法和流程。
全書共12章，分別講解了大模型基礎，數據集的載入、基本處理和製作，數據集的預處理，卷積神經網路模型，循環神經網路模型，特徵提取，注意力機制，模型訓練與調優，模型推理和評估，大模型優化演算法和技術，AI智能問答系統和AI人臉識別系統。全書簡潔而不失其技術深度，內容豐富全面。本書易於閱讀，以極簡的文字介紹了複雜的案例，是學習大模型開發的實用教程。
本書適用於已經了解Python基礎開發的讀者，以及想進一步學習大模型開發、模型優化、模型應用和模型架構的讀者，還可以作為大專院校相關專業的師生用書和培訓學校的專業性教材。

作者簡介
王振麗，華中科技大學計算機碩士，精通C、C#、C++、Java、Python等多門編程語言。現任騰訊AI產品架構師，主要從事移動端底層系統架構、驅動程序、AI應用的研究和開發工作，對人工智慧的架構設計和實現原理有非常深刻的認識和理解。精通各種多模態預訓練演算法，熟悉Prompt Engineering和模型Tuning方法，在協同大模型垂直領域的訓練和調優方面經驗豐富，在提升大模型業務的產品落地領域有著豐富的見解。

目錄
第1章 大模型基礎
1 1人工智慧
1 2機器學習和深度學習
1 3大模型簡介
1 4大模型開發與應用的技術棧
第2章 數據集的載入、基本處理和製作
2 1數據集的載入
2 2數據集的基本處理
2 3數據集的製作
第3章 數據集的預處理
3 1數據清洗和處理
3 2數據轉換與整合
3 3數據標準化與歸一化
3 4數據增強技術
第4章 卷積神經網路模型
4 1卷積神經網路簡介
4 2卷積神經網路模型開發實戰
第5章 循環神經網路模型
5 1文本處理與循環神經網路簡介
5 2循環神經網路模型開發實戰
第6章 特徵提取
6 1特徵提取簡介
6 2特徵的類型和重要性
6 3特徵選擇
6 4特徵抽取
6 5文本數據的特徵提取
6 6 圖像數據的特徵提取
第7章 注意力機制
7 1注意力機制基礎
7 2TensorFlow 機器翻譯系統
7 3 PyTorch 機器翻譯系統
第8章 模型訓練與調優
8 1模型訓練優化
8 2損失函數和優化演算法
8 3批量訓練和隨機訓練
8 4模型驗證和調優
第9章 模型推理和評估
9 1模型推理
9 2模型評估
第10章 大模型優化演算法和技術
10 1常見的大模型優化演算法和技術
10 2梯度下降法
10 3模型并行和數據并行
10 4學習率調度
10 5權重初始化策略
10 6遷移學習
10 7其他大模型優化演算法和技術
第11章 AI智能問答系統（TensorFlow+TensorFlow js+SQuAD 2 0+Mobile-BERT）
11 1背景簡介
11 2問答系統的發展趨勢：AI 問答系統
11 3技術架構
11 4具體實現
11 5調試運行
第12章 AI人臉識別系統（PyTorch+OpenCV+Scikit-Image+MobileNet+ArcFace）
12 1 系統簡介
12 2系統需求分析
12 3數據集
12 4訓練模型
12 5評估模型
12 6人臉識別

前言/序言
隨著人工智慧領域的快速發展，大規模語言模型（以下簡稱大模型）已經成為推動技術進步和應用創新的核心。從自然語言處理到計算機視覺，從醫療健康到金融領域，大模型的應用正在深刻地改變著人們的生活和工作方式。然而，開發和應用大模型並非一項輕鬆的任務，其涉及複雜的技術和實踐，需要深厚的理論基礎和實際操作經驗。
在該背景下，本書應運而生。本書旨在為讀者提供一份全面而實用的指南，幫助他們掌握大模型開發的核心技術並將其應用於不同領域。無論是對人工智慧感興趣的初學者，還是希望深入了解大模型技術的專業人士，本書都將成為他們的重要參考資料。
本書首先以系統性的方式探討了人工智慧、機器學習和深度學習的基礎知識，為讀者建立了牢固的理論基礎；接著，本書從數據集的載入、預處理，到模型的開發、訓練和推理，一步步地引導讀者掌握從零開始構建大模型的流程；同時，本書強調了數據的重要性，詳細介紹了數據預處理、增強和特徵提取等關鍵技術，幫助讀者充分挖掘數據的潛力。
本書特色
本書作為一本深入探討大模型開發與應用的實用指南，具有以下顯著特色：
（1）全面系統的內容。本書從人工智慧、機器學習和深度學習的基礎知識出發，系統性地介紹了大模型的核心概念、技術和方法，從而為讀者打下堅實的理論基礎。
（2）實踐導向的案例。本書的內容涵蓋了多個實際應用領域，如圖像識別、文本處理、問答系統等。每個案例都詳細呈現了從問題定義到解決方案實現的過程，幫助讀者在實踐中深入理解技術。
（3）突出了數據處理與數據增強的用法。本書中詳細介紹了數據集的載入、預處理和增強技術，強調數據在大模型開發中的關鍵地位，使讀者能夠高效地利用數據提升模型性能。
（4）深度優化策略剖析。本書深入討論了大模型的優化演算法和技術，包括梯度下降法、遷移學習、學習率調度等，為讀者提供了在模型訓練和調優方面的實際指導。
（5）多框架實踐。本書涵蓋了多個流行的深度學習框架，如TensorFlow和PyTorch，為讀者提供了使用不同框架開發大模型的豐富經驗。
（6）理論與實踐相結合。本書每個章節均融合了理論講解與實際操作，幫助讀者建立深刻的理論理解並能夠將其應用到實際項目中。
（7）前沿技術的涵蓋。本書涉及了注意力機制、遷移學習、權重初始化、模型并行等前沿技術，幫助讀者緊跟技術發展的最新趨勢。
（8）行業應用的廣度。本書案例覆蓋了多個行業，包括自然語言處理、計算機視覺、智能問答、人臉識別等，讀者可以根據自己的興趣和領域找到合適的應用範例。
（9）專業指導的實現。本書每個章節都附有詳細的操作步驟和實現代碼，讀者能夠直接從中學習和復現實際項目。
（10）深度與廣度並重。本書的內容從基礎概念到高級優化，從理論知識到實際案例，在深度和廣度上都保持了均衡，為讀者提供了全面的學習體驗。
綜上所述，本書以其系統性、實踐導向和前沿技術涵蓋等特色，將成為大型模型開發與應用領域的一本重要參考書，為讀者進一步探索人工智慧世界提供有力支持。
本書內容及知識體系
本書以全面深入的方式涵蓋了大模型開發技術中的各個核心技術，為讀者提供了從基礎概念到實際應用的全面指南。本書主要內容概述如下：
第1章 大模型基礎。本章從人工智慧、機器學習和深度學習的角度入手，為讀者打下堅實的理論基礎，同時介紹了大模型的概念和作用。
第2章 數據集的載入、基本處理和製作。本章詳細介紹了如何載入、處理和製作數據集，為後續模型開發做好數據準備。
第3章 數據集的預處理。本章討論了數據清洗、特徵選擇、標準化等數據預處理技術，以及如何進行數據增強，提升模型的魯棒性。
第4章 卷積神經網路模型。本章深入介紹了卷積神經網路的原理和開發方法，以及使用TensorFlow和PyTorch分別創建卷積神經網路模型。
第5章 循環神經網路模型。本章探討了文本處理和情感分析的循環神經網路模型開發，涵蓋了PyTorch和TensorFlow的實踐。
第6章 特徵提取。本章介紹了特徵在大模型中的重要性，以及數值和文本數據的特徵提取方法。
第7章 注意力機制。本章詳細解析了注意力機制的基本概念和應用，以TensorFlow和PyTorch為例構建了機器翻譯系統。
第8章 模型訓練與調優。本章涵蓋了模型訓練的優化策略、損失函數、批量訓練、驗證與調優等關鍵技術。
第9章 模型推理和評估。本章探討了模型推理和評估的流程，以及模型優化和加速方法。
第10章 大模型優化演算法和技術。本章深入介紹了大模型優化的各種演算法和技術，包括梯度下降法、模型并行、學習率調度、權重初始化、遷移學習等。
第11章 AI智能問答系統。本章以TensorFlow、TensorFlow js和SQuAD 2 0為基礎，展示了搭建AI智能問答系統的全過程。
第12章 AI人臉識別系統。 本章基於PyTorch、OpenCV、Scikit-Image、MobileNet和ArcFace，詳細講解了實現人臉識別系統的步驟和技術。
本書涵蓋了從基礎知識到高級應用的全面內容，通過理論介紹和實際案例演示，幫助讀者全面掌握大模型的開發、優化和應用。無論讀者是初學者還是有一定經驗的開發者，都能在本書中找到對應的內容，為自己的大模型開發之旅賦予新的動力。
本書讀者對象
（1）人工智慧初學者：對人工智慧領域感興趣的初學者可以通過本書建立關於人工智慧、機器學習和深度學習的基本概念，逐步深入了解大模型的核心技術。
（2）數據科學愛好者：對數據分析和處理有興趣的讀者可以通過本書學習數據集的載入、處理和增強技術，了解如何高效地利用數據提升模型性能。
（3）深度學習開發者：已經有一定深度學習經驗的開發者可以通過本書深入學習大模型的優化演算法、特徵提取技術等高級內容，進一步提升自己的技術水平。
（4）人工智慧工程師：從事人工智慧領域工作的專業人士可以通過本書了解不同領域的實際應用案例，獲得跨領域的應用經驗。
（5）大數據分析師：在大數據領域工作的專業人員可以通過本書學習如何處理和分析大規模數據集，為模型開發提供數據支持。
（6）研究人員和學生：從事人工智慧研究的學者和學生可以通過本書了解當前大模型領域的最新研究進展和應用方向。
（7）技術決策者：企業、機構的技術決策者可以通過本書了解大模型在不同行業中的應用案例，為業務決策提供參考。
（8）技術培訓師：人工智慧領域的培訓師可以將本書作為教材，為學員提供全面的大模型開發與應用教學。
（9）高校老師：高校老師可以將本書作為教材，用於教授人工智慧、機器學習和深度學習等課程。
本書內容覆蓋了從基礎到高級的知識，有助於培養學生的實際應用能力和創新思維。
總之，無論讀者是初學者還是有一定經驗的專業人士，無論是從事技術研究還是實際應用，都能從本書中獲得有價值的知識和經驗。
致謝
在編寫本書的過程中，作者得到了北京大學出版社編輯的大力支持，正是各位專業人士的求實、耐心和高效，才使得本書能夠在這麼短的時間內出版。另外，也十分感謝我的家人給予的巨大支持。
最後申明，由於作者水平和精力有限，書中不妥和疏漏之處在所難免，誠請讀者提出寶貴的意見或建議，以便修訂並使之更臻完善。
最後感謝您購買本書，希望本書能成為您編程路上的領航者，祝您閱讀快樂！