概率機器學習 朱軍 9787302631842 【台灣高等教育出版社】

內容簡介
隨著深度學習、大規模預訓練模型和生成式人工智慧的進展，機器學習已成為解決很多工程和科學問題的首選方案。《概率機器學習》一書從概率建模和統計推斷的角度系統介紹機器學習的基本概念、經典演算法及前沿進展。主要內容包括概率機器學習基礎、學習理論、概率圖模型、近似概率推斷、高斯過程、深度生成模型、強化學習等。全書從實例出發，由淺入深，直觀與嚴謹相結合，並提供了延伸閱讀內容和豐富的參考文獻。

作者簡介
朱軍，清華大學計算機系Bosch AI冠名教授，IEEE Fellow，清華大學人工智慧研究院副院長，曾任卡內基-梅隆大學兼職教授。主要從事機器學習研究，擔任國際著名期刊IEEE TPAMI副主編，擔任ICML、NeurIPS、ICLR等（資深）領域主席二十余次。獲中國科協求是傑出青年獎、科學探索獎、中國計算機學會自然科學一等獎、吳文俊人工智慧自然科學一等獎、ICLR國際會議傑出論文獎等。入選萬人計劃領軍人才、中國計算機學會青年科學家、MIT TR35中國先鋒者等。

前言/序言
隨著信息化的進展，各個領域都在搜集大量數據。但數據不等於知識。數據量的增加給數據分析帶來了前所未有的壓力。機器學習是一門從經驗數據中不斷總結規律、提升任務性能的學科。隨著深度學習的進展，機器學習技術已經廣泛應用於工程和科學等領域，成為圖像識別、語音識別、自然語言處理等任務的首選方案，同時，也在蛋白質結構預測、藥物發現、疾病診斷等交叉學科中發揮越來越大的作用。
機器學習的任務多種多樣，其中基本任務包括有監督學習（如圖像分類）、無監督學習（如聚類、降維）和強化學習，變種任務包括半監督學習、弱監督學習、遷移學習、主動學習等。從根本上講，機器學習任務都可以理解成從觀察數據中「推斷」一些缺失信息的問題，例如，圖像分類實質上是利用訓練數據的經驗信息推斷給定測試圖像的未知標籤信息；而聚類是通過分析經驗數據的特性（如相似度、分佈等）推斷未知的聚類結構等。
除了數據之外，機器學習還需要對目標任務做合理的假設，例如，假設數據服從某種具有良好性質的分佈或者假設要學習的目標函數具有某種參數化的形式；否則，不可能對數據進行有效的學習和泛化。我們將這種假設統稱為模型。隨著數據規模和計算算力的提升，構建大規模的預訓練基礎模型（ foundation model）也成為一個研究熱點，並在自然語言處理、圖像分析、跨模態圖像生成等任務上展示了良好的性能。
在推斷未觀察數據時，任何一個模型都是不確定的。因此，如何合理刻畫和計算不確定性是機器學習的核心問題。概率論為刻畫不確定性提供了一套嚴謹的數學工具，並作為主流方法已在工程、科學領域使用了上百年。本書採用概率論描述機器學習中各種形式的不確定性，在統一視角下講述機器學習中的模型、演算法及理論分析等核心內容。
無獨有偶，在國際上，從概率的視角理解和看待機器學習正在成為一個重要的趨勢。在本書寫作過程中，有多本專著已經或即將出版，這些均凸顯概率機器學習受到重視。筆者從事機器學習研究多年，覺得有責任把它系統地梳理，以饗國內讀者。
本書分為基礎篇和高級篇兩部分。其中，基礎篇包括第 1∼11章，從概率的視角介紹機器學習的基礎原理和方法。第 3∼7、10章為有監督學習下的機器學習方法，包括線性回歸模型、樸素貝葉斯分類器、對數幾率回歸及廣義線性模型、深度神經網路、支持向量機與核方法、集成學習等內容；第 8、9章為無監督學習下的機器學習方法，包括聚類、降維等內容。第 11章介紹學習理論，主要以分類器為例，介紹如何刻畫其性能，以及介紹 PAC（Probably Approximately Correct，概率近似正確）學習理論、最大間隔學習理論、 VC維、Rademacher複雜度、PAC貝葉斯學習理論等，同時，也簡要討論深度學習在理論上的獨特現象（如雙重下降、良性過擬合等）及最新的理論進展。基礎篇是全書的基礎，通過這部分的學習，讀者能夠充分了解和掌握機器學習的核心思想和主要方法，為後續內容做鋪墊。
高級篇包括第 12∼17章。第 12∼16章分別介紹概率圖模型、近似概率推斷（包括變分推斷和蒙特卡洛方法）、高斯過程和深度生成模型。這幾章內容的共同點是均充分利用了多個變數之間的結構信息（如圖結構、多層次的深度結構等），構建直觀簡潔的概率模型，並對其進行高效的概率推斷。第 17章介紹決策任務中的機器學習，具體包括單步決策的多臂老虎機、序列決策的馬爾可夫決策過程及強化學習等內容。高級篇將基本原理進行發展和應用。
本書的讀者對象為相關專業的高年級本科生、研究生和從業人員。筆者選擇機器學習的最核心內容，基於自己的科研體會組織編寫，與國際上現有的專著相比，本書適合作為概率機器學習的入門教材。同時，本書也可以用於自學，書中不僅詳細闡述了機器學習的基本原理，還簡要介紹了各種應用實例，同時綜述最新研究進展，並提供了豐富的參考文獻以便讀者進一步深入學習。在內容組織上，本書注重由淺入深，並將概念直觀性與理論嚴謹性相結合，便於讀者理解。
本書共 17章，適合一學期 48學時（每學時 45分鐘）的課堂講授，建議至少一半學時用於講述基礎原理、典型模型和演算法。當讀者掌握了前 10章的基本原理及學習理論相關知識之後，後面幾章內容就相對容易掌握了，它們屬於基本原理在結構化模型下的進一步發展。如果課時不足 48學時，可以在講授完基本原理和方法之後，有選擇地講授結構化模型與推斷或強化學習等內容，其中，近似概率推斷的兩章有部分內容依賴概率圖模型，選擇時需要適當考慮；而高斯過程、深度生成模型和強化學習是相對獨立的章節，可以任意選擇。
本書的籌劃始於 2012年秋。筆者在清華大學開設了機器學習的研究生課程，備課時已為將來把講稿擴充成書做了許多考慮；同時，多年的教學實踐也讓概率機器學習的框架更加清晰。本書的具體寫作始於 2017年秋，初稿完成於 2021年秋。在這個過程中，筆者所帶領的 TSAIL課題組的同學們如石佳欣、吳國強、李崇軒、陳鍵飛、鮑凡、路程、胡文波、周聿浩、應鋮陽、王征翊、汪思為等提出了許多改進意見或參与了部分章節的寫作，筆者表示衷心感謝。張鈸院士是筆者的博士生導師，徐宗本院士是筆者回國后承擔的首個國家 973計劃課題的首席科學家，他們長期指導、關懷和支持筆者的工作，這次又撥冗為本書寫序，在此特別感謝。筆者系統學習概率機器學習緣于 2005年在機器學習國際大會上與 Michael I Jordan院士的交流， Jordan院士推薦了概率圖模型的書籍，極大地激勵了筆者深入專研；另外，從 2007年起，筆者在卡內基 –梅隆大學邢波（ Eric Xing）教授組做訪問學者及博士后研究，進一步加深了對概率機器學習的理解，並且有幸合作了多篇論文，在此特別感謝 Jordan院士和邢教授。同時，也感謝本書的支持者，包括編輯張玥及其同事。此外，還要衷心致謝家人，沒有你們的鼎力支持，很難想象本書可以順利完成。
本書所參考的文獻已在書後列出，在此向這些文獻的作者表示感謝。同時，對本書寫作提供幫助的人員也深表謝意。限於作者水平，書中難免存在不妥之處，殷切期望讀者批評指正。
朱軍
2023年 3月