多模態大模型-技術原理與實戰 彭勇 等 9787121465628 【台灣高等教育出版社】

編輯推薦
適讀人群 ：本書適用於從事人工智慧工作的專業技術人員，比如演算法工程師、研發工程師等，也適用於對多模態大模型感興趣的各類從業者，比如產品經理、項目經理和各級管理人員等。
（1）單模態大模型ChatGPT只是過渡產品，多模態大模型（類似於GPT-4）才是AI 的未來。掌握了多模態大模型技術就等於先人一步打開了通往AGI的大門。
（2）詳述ChatGPT的核心技術，以及GPT的進化史和創新點，讓你全面了解大模型技術的演化過程和未來的發展趨勢。
（3）詳細介紹了大語言模型和多模態大模型的發展歷史、技術原理和亮點、主要的開源框架、配套工具、部署細則和實戰案例。
（4）多模態大模型的費用昂貴是很多公司的痛點。通過微調和量化壓縮，讓中小公司也能用得起多模態大模型，並介紹了從0到1部署多模態大模型。
（5）實戰性強，詳細介紹了使用大模型為商業賦能的3個應用案例。

內容簡介
本書詳細介紹了大語言模型和多模態大模型的發展歷史、技術原理和亮點、主要的開源框架、配套工具、部署細則和實戰案例。為了讓讀者更好地進行大模型的應用實戰，本書還詳細介紹了使用大模型為商業賦能的3個應用案例。期望本書能夠幫助讀者打開通往大模型尤其是多模態大模型的學習、實戰和商業成功之路。

作者簡介
彭勇
國家公派留法博士，全球金融專業人士協會（GIFP協會）特聘專家，2020年歐耕網際網路保險十大風雲人物，《數據中台建設：從方法論到落地實戰》作者。從事大數據和人工智慧在金融行業的研究與應用工作約18年，負責相關的落地項目超過100個，在金融行業數據中台建設、數字化營銷和運營體系建設、大數據和人工智慧賦能、大模型研發和應用、風險管理、數智化轉型等方面經驗豐富。現就職于蘇州數擎智技術有限公司和北京長正諮詢有限公司，擔任兩個公司的總經理。
彭旋
本科和碩士畢業於中國石油大學（華東）數學與應用數學專業，從事多模態大模型、知識圖譜、信息抽取、自然語言處理等方面的研發工作，具備豐富的多模態大模型訓練、研發和企業落地經驗。《知識圖譜與大模型融合實踐研究報告》《知識圖譜互聯互通白皮書》的主要作者之一。
鄭志軍
NLP專家，研究領域主要包括文本理解、自然語言生成等，申請7項專利。從事自然語言處理研究7年有餘，有近4年大模型使用、研發經驗。現擔任公司AIGC組組長，研發的大模型在公共評測和客戶應用上均取得了優異的成績，在大模型研發領域具有豐富的理論和實踐經驗。
茹炳晟
騰訊Tech Lead，騰訊研究院特約研究員，中國計算機學會(CCF)TF研發效能SIG主席，「軟體研發效能度量規範」標準核心編寫專家，中國商業聯合會網際網路應用工作委員會智庫入庫專家，中國通信標準化協會TC608雲計算標準和開源推進委員會雲上軟體工程工作組副組長，國內外很多技術峰會的聯席主席、出品人和演講嘉賓。公眾號「茹炳晟聊軟體研發」主理人。多本技術暢銷書作者，著作有《軟體研發行業創新實戰案例解析》《測試工程師全棧技術進階與實踐》《軟體研發效能提升之美》《高效自動化測試平台:設計與開發實戰》《軟體研發效能提升實踐》《軟體研發效能權威指南》，譯作有《持續架構實踐：敏捷和DevOps時代下的軟體架構》和《現代軟體工程：如何高效構建軟體》等。

精彩書評
隨著GPT-4的推出，人工智慧技術開始向多模態大模型方向發展。「多模態大模型」將成為人工智慧技術的基礎設施。本書以一種專業和敏銳的時代洞察力，圍繞多模態大模型這一主題，從理論到實踐「娓娓道來」，讓您不僅能讀懂多模態大模型的理論，還能熟練掌握如何應用多模態大模型進行實戰，我相信本書將讓您收穫滿滿。
——國務院政府特殊津貼專家，中國精算師協會會長 王和博士
ChatGPT的出現標志著「AI大模型時代」到來，其通過對人類知識存儲、傳承和使用方式的重構及表現出的多模態、多技術、多能力和多應用的發展趨勢，為處於數智化轉型進程中的金融企業打開了更具想象力的發展空間。現階段，金融企業對大模型研發及應用場景的探索還處在起步階段，亟需對相關技術全面、深入地了解，對方向和趨勢客觀、專業地分析，以及實戰經驗的分享。本書應運而生，詳細介紹了大語言模型和多模態大模型的發展歷史、技術原理和創新點，深入闡述了多模態大模型的部署、應用場景和實戰案例，為讀者打開了通往大模型尤其是多模態大模型的學習、實戰和商業成功之路。
————金科創新社新媒體總編輯、合伙人 李慶莉
OpenAI陸續發布了ChatGPT和GPT-4，無疑在IT界乃至整個社會激起了千層浪。其發展歷程、背後的原理、多模態擴展、給中小公司的機遇、完整的應用案例與實踐都是大家關心和迫切需要的。縱觀當下，上述信息都非常碎片化地存在於網際網路上。本書體系化地介紹了多模態大模型背後的原理、技術和實踐，恰逢其時地彌補了多模態大模型書籍的空缺，是多模態大模型研發人員乃至IT從業者不可多得的專業讀物。
--- 同濟大學特聘研究員，OpenKG發起人 王昊奮
2022年下半年人工智慧在生成式大模型技術領域取得了顯著性突破，以ChatGPT為代表的大語言模型表現出多任務處理、多語言辨識、強語義理解等智慧湧現的特質。許多專家評價其為AGI開啟了一扇窗。該類技術的跨越式進步為產業升級提供了無限想象空間。當前系統性地介紹大模型技術，尤其是多模態大模型技術的書籍鳳毛麟角。本書的出版如同下了一場「及時雨」。本書對當前主流的大模型技術進行了系統性闡述，並從培養新型思維認知的角度，深入淺出、實例化地講解了大模型的應用技術。本書對技術人員、業務人員了解生成式大模型技術，培養生成式解決方案思維大有裨益。
——————泰康集團CTO 杜彥斌
多模態大模型是新一代人工智慧主要的技術底座模型，更加符合產業的實際需求。國內目前少有能夠讓讀者深入淺出地快速了解該領域重要知識點的關於多模態大模型的書籍。本書不僅相對系統地闡述了多模態大模型的理論和技術原理，還提供了三個實戰案例，有助於各個行業更好、更快地推動多模態大模型的應用和價值實現。
——陽光保險集團副總裁，亞洲金融協會金融科技合作委員會委員 谷偉
造出來的機器只會說不行，只有讓機器能聽、能說、能看，AGI才算完成大半。本書作者都是該領域的專家，對多模態大模型有很多前瞻的觀點。力薦本書。
——玄涌智能CEO 古飛

目錄
第1章 OpenAI一鳴驚人帶來的啟示
1 1 OpenAI的成長並非一帆風順
1 2 OpenAI成功的因素
1 3 OpenAI特殊的股權設計帶來的啟示
第2章 自然語言處理的發展歷程
2 1 自然語言處理的里程碑
2 2 從BERT模型到ChatGPT
2 3 BERT模型到底解決了哪些問題
2 4 BERT模型誕生之後行業持續摸索
2 5 ChatGPT的誕生
第3章 讀懂ChatGPT的核心技術
3 1 基於Transformer的預訓練語言模型
3 2 提示學習與指令微調
3 3 基於人工反饋的強化學習
3 4 思維鏈方法
3 5 集成學習
第4章 看清GPT的進化史和創新點
4 1 GPT技術的發展歷程
4 2 GPT的創新點總結
第5章 大模型+多模態產生的「化學反應」
5 1 多模態模型的發展歷史
5 2 單模態學習、多模態學習和跨模態學習的區別
5 3 多模態大模型發展的重大里程碑
5 4 大模型+多模態的3種實現方法
5 5 多模態大模型的效果評估
第6章 多模態大模型的核心技術
6 1 文本多模態技術
6 2 圖像多模態技術
6 3 語音多模態技術
6 4 視頻多模態技術
6 5 跨模態多重組合技術
6 6 多模態大模型高效的訓練方法
6 7 GPT-4多模態大模型核心技術介紹
6 8 多模態技術的發展趨勢
第7章 國內外多模態大模型對比
7 1 國內多模態大模型介紹
7 2 國外多模態大模型介紹
7 3 多模態大模型評測數據集
7 4 多模態大模型的評測標準
7 5 多模態大模型對比
7 5 1 感知能力評測
7 5 2 認知能力評測
第8章 中小公司的大模型構建之路
8 1 微調技術介紹
8 2 模型壓縮技術介紹
8 3 微調實戰
8 4 模型壓縮實戰
第9章 從0到1部署多模態大模型
9 1 部署環境準備
9 2 部署流程
9 3 使用Flask框架進行API開發
9 4 使用Gradio框架進行Web頁面開發
9 5 其他部署方法介紹
9 6 部署過程中常見的問題總結
第10章 多模態大模型的主要應用場景
10 1 多模態大模型的應用圖譜
10 2 多模態大模型在金融領域中的應用
10 2 1 語音質檢
10 2 2 智能顧問
10 3 多模態大模型在出行與物流領域中的應用
10 4 多模態大模型在電商領域中的應用
10 4 1 智能客服
10 4 2 智能試穿
10 5 多模態大模型在工業設計與生產領域中的應用
10 6 多模態大模型在醫療健康領域中的應用
10 7 多模態大模型在教育培訓領域的應用
第11章 用多模態大模型打造AI助理實戰
11 1 應用背景
11 2 方法論介紹
11 3 工具和演算法框架介紹
11 4 優化邏輯介紹
11 4 1 如何提高多輪對話能力
11 4 2 如何提高角色扮演能力
11 4 3 如何提高長文本閱讀能力
11 5 多模態大模型的部署
11 6 多模態大模型的性能評估
第12章 多模態大模型在情緒識別領域的應用
12 1 應用背景和待解決的問題
12 2 方法論介紹
12 3 工具和演算法框架介紹
12 4 優化邏輯介紹
12 5 部署流程
第13章 大模型在軟體研發領域的實戰案例與前沿探索
13 1 LLM在軟體研發過程中的單點提效
13 2 代碼大語言模型為軟體研髮帶來的機遇與挑戰
13 3 在LLM時代，對軟體研發的更多思考

前言/序言
ChatGPT和GPT-4這兩個知名大模型的發布，讓大模型迅速成為爆點，重新點燃了人們對通用人工智慧的熱情。很多國家和地區都開始致力於大模型的研發、應用和推廣。我們認為，以大數據和人工智慧為核心技術驅動的新的科技革命即將到來，數字賦能一切的新的數字經濟範式也即將到來。面對數字經濟的時代大背景，無論從業者來自哪個行業（網際網路行業、通信行業、金融行業、傳統製造行業或服務行業等）、從事哪種職業（研發人員、工程師、設計師、編輯等），都會受到數字經濟的影響。
大模型研發更像一場遍布全球的科技「軍備競賽」，模型的效果如果「差之毫厘」，面臨的結局可能就是「謬以千里」。從技術發展的角度來看，我們認為，單模態大模型只是過渡型技術，多模態大模型將成為通用人工智慧賦能各行各業的重要技術底座。當前國內詳細介紹多模態大模型的發展歷史、技術要點和應用方面的書籍少之又少，很多從業者即使想深入學習，也難以找到體系化的教材。所以，我們撰寫了本書。
大模型的核心特徵是「大數據、大算力和大參數量」，這幾個「大」字無疑極大地提高了人工智慧大模型的研發、訓練、部署和應用門檻。中小公司有點玩不起人工智慧大模型了，這是中小公司面臨的難題。基於此，本書詳細介紹了中小公司的大模型構建之路，闡述了如何通過微調、量化壓縮等技術構建垂直領域的輕量級大模型。
另外，為了更好地讓來自不同領域的讀者熟悉多模態大模型的價值，我們還詳細闡述了多模態大模型在六大領域（分別是金融領域、出行與物流領域、電商領域、工業設計與生產領域、醫療健康領域和教育培訓領域）的應用，幫助讀者更好地理解多模態大模型的應用場景和可能產生的商業價值。
我們希望讀者能夠通過對本書的學習，更好、更快地拿起多模態大模型這個「強大武器」，高效地促進所在產業的數智化轉型和變革。同時，我們也希望通過本書的創作可以與研究和應用多模態大模型的專業人士深入、廣泛地交流和合作。
4位堅信「人工智慧改變世界」的夥伴（彭勇、彭旋、鄭志軍和茹炳晟）共同完成了本書的撰寫。彭勇是大數據應用和大模型專家，彭旋和鄭志軍是大模型演算法專家，茹炳晟是騰訊的技術專家。我們還要感謝在本書創作過程中給予我們支持的領導、家人、同事和朋友，同時感謝電子工業出版社博文視點公司的石悅老師。他們的信任、鼓勵和支持，是我們持續創作和不斷前進的動力。