面向分散式機器學習的無中心優化算法 張明川 朱軍龍 吳慶濤等 9787030782465 【台灣高等教育出版社】
物品所在地：中國大陸
原出版社：科學
商品介紹
下訂前請慎重考慮！下訂前請慎重考慮！謝謝。
*完成訂單後正常情形下約兩周可抵台。
*本賣場提供之資訊僅供參考，以到貨標的為正確資訊。
印行年月：202506*若逾兩年請先於客服中心或Line洽詢存貨情況，謝謝。
台灣(台北市)在地出版社，每筆交易均開具統一發票，祝您中獎最高1000萬元。
書名：面向分散式機器學習的無中心優化算法
ISBN：9787030782465
出版社：科學
著編譯者：張明川 朱軍龍 吳慶濤等
頁數：198
所在地：中國大陸 *此為代購商品
書號：1745228
可大量預訂，請先連絡。
內容簡介
《面向分布式機器學習的無中心優化算法》針對分布式機器學習中網絡通信、在線學習、隱私保護等問題，研究無中心的分布式優化算法。主要內容包括：①分布式一階梯度算法，提出在線學習的自適應次梯度算法和隨機塊坐標的次梯度投影算法、自適應*小*大優化算法，旨在研究分布式的優化算法，理論分析所提算法的收斂性能；②分布式無投影梯度算法，提出隨機塊坐標無投影梯度算法、面向子模*大化問題的分布式在線學習無投影算法，旨在降低計算代價，加快模型訓練速度；③零階算法，提出子模*大化的分布式隨機塊坐標Frank-Wolfe算法，解決了高維約束優化問題的梯度計算問題。
目錄
目錄
“信息科學技術學術著作叢書”序
前言
第1章 緒論 1
1 1 機器學習 1
1 2 機器學習優化算法的發展 5
1 3 分布式多智能體系統 8
1 4 本章 小結 10
參考文獻 10
第2章 分布式在線學習的自適應次梯度算法 11
2 1 引言 11
2 2 基本概念與定義 13
2 2 1 符號 13
2 2 2 圖論 14
2 2 3 隨機矩陣 14
2 2 4 凸函數 14
2 3 問題描述與算法設計 15
2 3 1 問題描述 15
2 3 2 算法設計 15
2 4 算法相關假設與收斂結果 17
2 5 算法收斂性能分析 18
2 6 仿真實驗 32
2 6 1 實驗設置 32
2 6 2 實驗結果與分析 39
2 7 本章 小結 39
參考文獻 39
第3章 分布式隨機塊坐標無投影梯度算法 43
3 1 引言 43
3 2 問題描述與算法設計 47
3 2 1 問題描述 47
3 2 2 算法設計 47
3 3 算法相關假設與收斂結果 49
3 4 算法收斂性能分析 52
3 5 仿真實驗 66
3 5 1 實驗描述——多類別分類問題 66
3 5 2 實驗結果與分析 66
3 6 本章 小結 68
參考文獻 68
第4章 面向子模*大化問題的分布式在線學習無投影算法 73
4 1 引言 73
4 2 基本概念與定義 75
4 3 問題描述與算法設計 76
4 3 1 問題描述 76
4 3 2 算法設計 77
4 4 算法相關假設與收斂結果 80
4 5 算法收斂性能分析 82
4 5 1 對抗性在線設置 83
4 5 2 隨機在線設置 103
4 6 仿真實驗 108
4 7 本章 小結 110
參考文獻 111
第5章 隱私保護的分布式隨機塊坐標次梯度投影算法 114
5 1 引言 114
5 2 問題描述、算法設計與假設 116
5 3 算法收斂結果 119
5 4 算法收斂性能分析 122
5 5 仿真實驗 141
5 6 本章 小結 144
參考文獻 144
第6章 基於一致性的分布式自適應*小*大優化算法 148
6 1 引言 148
6 2 算法設計和假設 150
6 2 1 DADAMC算法設計 150
6 2 2 算法相關假設、引理與收斂結果 152
6 3 算法收斂性能分析 155
6 4 仿真實驗 167
6 4 1 實驗環境 167
6 4 2 實驗結果與分析 167
6 5 本章 小結 170
參考文獻 170
第7章 子模*大化的分布式隨機塊坐標Frank-Wolfe算法 173
7 1 引言 173
7 2 問題描述與算法設計 175
7 3 算法相關假設與收斂結果 177
7 4 算法收斂性能分析 179
7 5 仿真實驗 189
7 6 本章 小結 191
參考文獻 191
第8章 分布式機器學習優化算法發展與展望 196
8 1 存在的問題與挑戰 196
8 2 發展趨勢 197
參考文獻 197
精彩書摘
第1章 緒論
優化問題是一個既古老又現代的問題。人們在日常生活以及科學研究中經常面臨優化問題。當談到優化的時候，人們也許*先會這樣理解：採取一定的措施，使目標結果變得更加優秀。然而，在計算機的算法領域，優化往往是指通過算法得到目標問題的*優解。優化算法可被用來解決計算機中存在的多種問題，如計算機網絡服務優化中的資源分配、任務調度和資源部署問題，計算機光滑*面設計中任何拓撲類型的光滑*面構造問題等。通過相關的優化算法，計算機可以更高效地應用在工業、金融、科研等多個領域中，為科技、經濟、社會發展做出卓越貢獻。
1 1 機器學習
隨著科技的發展，人們在日常生活中對智能化的要求越來越高，人工智能領域的研究備受關注[1]。人工智能追求的目標是智能化學習。在人工智能領域中，機器學習因為其*特的學習理念和廣泛的應用成為備受關注的研究方向[2，3]。
當下，人工智能正熱，而其備受關注、取得革命性進步背後的推手正是機器學習，機器學習對人工智能的發展影響巨大。機器學習這個名字*初由Samuel[4]于1959年創造。Mitchell為機器學習領域研究的算法提供了一個被廣泛引用、更正式的定義：如果計算機程序在完成某類任務T時，通過經驗E在某一表現度量P下的表現有所提高，則稱該程序從經驗E中學習[5]。該表述定義了學習任務的一個基本操作，而不是用認知術語來定義這個領域。這延展了艾倫 圖靈在他的論文《計算機器和智能》中的提議，其中的問題”機器能思考嗎？”被替換為”機器能作為一個實體像人類一樣思考嗎？”[6]，這個提議揭露出思維機器可能具有的特性和構建一個模型的各種含義。
機器學習是一門多領域交叉學科，它涉及計算機科學、概率統計、函數逼近論、*優化理論、控制論、決策論、算法複雜度理論、實驗科學等多個學科。從不同學科視角切入，機器學習的具體定義也有許多不同的闡述。除上述Mitchell的定義以外，機器學習還有下面幾種定義：機器學習是一門人工智能的科學，該領域的主要研究對象是人工智能，特別是如何在經驗學習中改善具體算法的性能；機器學習是對能通過經驗自動改進計算機算法的研究；機器學習是用數據或以往的經驗，優化計算機程序的性能標準。總體上講，機器學習關注的核心問題是如何用計算的方法模擬或實現人類的學習行為：從歷史經驗中獲取規律或者模型，並將其應用到新的類似場景中。它是人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域。它主要使用歸納、綜合而不是演繹。
機器學習主要研究計算機如何模擬或實現人類的學習行為，以獲取新的知識或技能，並重新組織已有的知識結構，使之不斷改善自身的性能，機器學習是人工智能領域的核心研究內容之一。機器學習算法是一種有效利用數據的學習算法[7]，即構建一個基於樣本數據的數學模型，稱為訓練數據，以便在沒有明確編程來執行任務的情況下進行預測或決策[8]。學習的核心目標是從經驗中總結[9]。在這種情況下，泛化是指學習機器在經歷了學習數據集後，準確執行新的、看不見的示例或任務的能力。訓練樣本來自一些通常未知的概率分佈(被認為是事件空間的表示)，學習必須建立一個關於該空間的通用模型，使其能夠在新的情況下產生足夠準確的預測。
近年來，有很多新型機器學習技術受到人們的廣泛關注，並在實際問題中提供了有效的解決方案，如深度學習、強化學習、對偶學習、遷移學習、對抗學習、對偶學習及元學習等。不同于傳統的機器學習方法，深度學習是一類端到端的學習方法。基於多層的非線性神經網絡，深度學習可以從原始數據直接學習，自動抽取特徵並逐層抽象，*終達到回歸、分類或排序等目的。強化學習是機器學習的一個子領域，主要研究智能體如何在動態系統或者環境中以”試錯”的方式進行學習，通過與系統或環境進行交互獲得的獎賞指導行為，從而*大化累積獎賞或長期回報。由於具有一般性，該方法在許多其他學科中也得到了研究，如博弈論、控制理論、運籌學、信息論、多智能體系統、群體智能、統計學和遺傳算法。遷移學習的目標是把源任務訓練好的模型遷移到目標任務中，幫助目標任務解決訓練樣本不足等技術挑戰。遷移學習目前是機器學習的研究熱點之一，有很大的發展空間。傳統的深度生成模型存在一個潛在問題：由於*大化概率似然，模型更傾向于生成偏極端的數據，影響生成的效果。對抗學習利用對抗性行為(如產生對抗樣本或者對抗模型)來加強模型的穩定性，提高數據生成的效果。近年來，利用對抗學第1*進行無監督學習的生成對抗網絡被成功應用到圖像、語音、文本等領域，成為無監督學習的重要技術之一。對偶學習是一種新的學習範式，其基本思想是利用機器學習任務之間的對偶屬性獲得更有效的反饋，引導、加強學習過程，從而降低深度學習大規模人工標注數據的依賴。對偶學習的思想已經被應用到機器學習的很多問題裡，包括機器翻譯、圖像風格轉換、問題回答和生成、圖像分類和生成、文本分類和生成、圖像轉文本和文本轉圖像等。分布式技術是機器學習技術的加速器，能夠顯著提高機器學習的訓練效率，進一步增大其應用範圍。元學習是近年來機器學習領域的一個新的研究熱點。從字面上理解，元學習就是學會如何學習，重點是對學習本身的理解和適應，而不僅僅是完成某個特定的學習任務。也就是說，一個元學習器需要能夠評估自己的學習方法，並根據特定學習任務對自己的學習方法進行調整。
機器學習算法及其性能的計算分析是計算機科學理論的一個分支，被稱為計算學習理論。由於訓練集是有限的，未來是不確定的，學習理論通常不能保證算法的性能。相反，性能的概率界限是普遍存在的。偏差-方差分解是量化泛化誤差的一種方法。為了獲得*佳的泛化性能，做出的假設的複雜性應該與數據基礎函數的複雜性相匹配。如果做出的假設沒有函數複雜，那麼模型中的數據量就不足。如果模型的複雜性相應增加，則訓練誤差減小。但是，如果假設過於複雜，那麼模型將會過擬合，泛化能力較差[10]。除了性能界限之外，機器學習的從業者還研究了學習的時間複雜性和可行性。在計算學習理論中，如果計算可以在多項式時間內完成，則被認為是可行的。這裡有兩種時間複雜度結果。正結果表明某類函數可以在多項式時間內被學習出來；負結果表明某類函數不能在多項式時間內學習出來。
機器學習算法用於各種應用，如電子郵件過濾和計算機視覺。在這些應用中，開發用於執行特定指令的算法是不可行的。機器學習與計算統計學密切相關，計算統計學側重於使用計算機進行預測。算法優化的研究為機器學習提供了方法、理論和應用領域。數據挖掘是機器學習中的一個研究領域，側重於探索性數據分析到無監督學習[11，12]。在跨業務問題的應用中，機器學習也被稱為預測分析。機器學習算法在集中式的架構中應用非常廣泛，並取得了巨大成功。
由於每種算法都有*特的通信模式，因此分布式機器學習的設計是一項挑戰。儘管目前分布式機器學習有各種不同的概念和實現，但一般來說，機器學習問題可以分為訓練階段和預測階段。訓練階段包括訓練一個機器學習模型，通過輸入大量的訓練數據，並使用常用的機器學習算法(如進化算法、基於規則的機器學習算法、主題模型、矩陣分解和基於隨機梯度下降算法等)進行模型更新。除了為給定的問題選擇一種合適的算法之外，還需要為所選擇的算法進行超參數調優。訓練階段的*終結果是獲得一個訓練模型。預測階段是在實踐中部署經過訓練的模型，接收新數據作為輸入，並生成預測，作為輸出。雖然模型的訓練階段通常需要大量的計算，並且需要大量的數據集，但是可以用較低的計算能力來執行推理。訓練階段和預測階段不是相互排斥的。增量學習將訓練階段和預測階段相結合，利用預測階段的新數據對模型進行連續訓練。
機器學習在許多領域取得了前所未有的成功，由此也徹底改變了人工智能的發展方向。人工智能發展迅速完全得益於”大”：大數據、大算力、大模型。三者缺一不可。大數據的重要性不言而喻，大算力則提供了基礎保障，大模型指導了應用場景。工業界中雖然可以多集群部署，但是同時存在著數據劃分，或者模型劃分，或者相應的算法發生改變。在分布式系統上，往往失之毫釐，謬以千里。無論是模型過大還是數據過大，都要求在精度和時間上達到雙優解，其中富有挑戰性的問題是由分布式機器學習解決的。相比較而言，機器學習本身是比較單純的學科領域，其模型和算法問題基本上都可以被看成純粹的應用數學問題。而分布式機器學習則不然，它更像是一個系統工程，涉及數據、模型、算法、通信、硬件等許多方面，這更增加了系統瞭解此領域的難度。分布式機器學習是機器學習當前*熱門的研究領域之一，尤其是隨著”大數據”概念的興起，數據呈爆炸式增長，分布式機器學習迎來了嶄新的大數據時代。大數據具有五大特徵：大數據量、多類型、低價值密度、高時效和數據在線。其中，數據在線是大數據區別于傳統數據*顯著的特徵，這要求對數據進行實時處理。傳統機器學習注重在單機中處理數據的速度，而龐大的數據存儲和計算在單機上是遠遠做不到的，且硬件支持的有限性使得在單機上進行大數據處理顯得十分吃力，將計算模型分布式地部署到多台、多類型機器上進行並行計算是有效解決方式之一。
分布式機器學習是指利
