深度強化學習-雲計算中作業與資源協同自適應調度的理論及應用 彭志平 9787302617389 【台灣高等教育出版社】

內容簡介
本文圍繞兩個雲工作流執行過程中的關鍵步驟——雲工作流任務分配和虛擬化資源供給，研究以容器為新型虛擬化基本單元的雲計算環境下，以協同方式進行多工作流自適應調度的理論問題、關鍵技術和方法；在確保滿足用戶服務等級協議前提下，最大程度實現雲服務供需雙方的利益均衡。
在多項國家自然科學基金項目、廣東省自然科學基金項目、廣東省科技計劃項目等課題的支持下，課題組長期從事雲計算關鍵技術、機器學習演算法、多agent系統等領域的基礎理論和應用研究，長期的積累為本課題的研究打下堅實的基礎，使解決本課題關鍵科學問題，完成預期成果具有較高的可行性。
本項目研究成果可為相關科研領域人員提供參考和借鑒。

作者簡介
彭志平 博士，教授。廣東石油化工學院副校長（2015-2021年），江門職業技術學院校長（2021-今）。中國系統模擬學會智能模擬優化與調度專委會常務委員，廣東省高等學校「千百十工程」省級培養對象。目前主要從事人工智慧、智能系統等方向的科研與教學研究工作。作為負責人先後主持2項國家自然科學基金面上項目、1項廣東省應用型科技研發專項重點項目及20多項企業技術攻關委託項目。先後獲得廣東省南粵優秀教師、師德標兵、廣東省精神文明建設先進個人等榮譽稱號，獲得中國石油和化工自動化應用行業科技進步一等獎、省部級科技進步獎二等獎、吳文俊人工智慧科技進步獎各1項。在國內外學術期刊上發表30餘篇SCI檢索論文，30餘篇EI檢索論文， 15項發明專利獲得授權。

目錄
第1篇基 礎 理 論
第1章雲計算概述
1 1雲計算技術概述
1 1 1雲計算的3種服務模式
1 1 2雲計算的4種部署模型
1 2雲計算的核心技術
1 3雲計算資源配置與任務調度模型
1 4雲計算提出的挑戰
1 4 1虛擬化技術帶來的挑戰
1 4 2虛擬機資源和應用系統參數提出的挑戰
1 4 3工作流任務和虛擬化資源進行協同自適應調度提出的挑戰
1 4 4資源利用率和服務等級協議提出的挑戰
第2章深度強化學習概述
2 1深度卷積神經網路
2 2強化學習
2 3深度強化學習
2 3 1DQN演算法主要用到的關鍵技術
2 3 2DQN模型訓練過程
第2篇雲作業調度演算法
第3章隨機作業優化調度策略
3 1引言
3 2國內外研究現狀
3 2 1理論分析
3 2 2能耗管理
3 2 3資源分配
3 3系統模型
3 3 1作業調度子模塊
3 3 2作業執行子模塊
3 3 3作業傳輸子模塊
3 4基於強化學習的作業調度演算法
3 4 1強化學習
3 4 2基於強化學習的用戶作業調度演算法
3 4 3狀態簡約
3 5性能評估
3 5 1模擬雲平台實驗驗證
3 5 2真實雲平台實驗驗證
3 6小結
第4章混合作業調度機制
4 1引言
4 2國內外發展現狀
4 2 1靜態調度法
4 2 2動態調度法
4 2 3混合調度法
4 2 4局限性分析
4 3雲平台模型
4 4混合作業調度演算法
4 5基於強化學習的混合作業調度演算法
4 6實驗結果與分析
4 7小結
第5章基於多智能體系統的雲工作流作業優化調度
5 1研究背景
5 2相關工作
5 3系統模型
5 3 1雲工作流系統
5 3 2雲工作流模型組件介紹
5 4基於多智能體系統的粒子群遺傳優化演算法
5 4 1粒子群優化演算法
5 4 2雲工作流環境下的粒子群演算法
5 4 3多智能體系統下粒子群的自組織模型
5 4 4MASPSOGA演算法步驟
5 5演算法模擬與分析
5 5 1實驗數據和參數設置
5 5 2實驗結果及分析
5 6小結
第6章基於深度強化學習的雲環境下的多資源雲作業調度策略
6 1引言
6 2系統模型及表示
6 3演算法說明與偽代碼
6 4實驗環境與參數設置
6 5實驗結果與分析
6 6小結
第7章基於深度強化學習的多數據中心雲作業調度
7 1引言
7 2系統模型
7 3作業調度
7 4模擬實驗平台設計
7 5模擬實驗及結果分析
7 6小結
第3篇虛擬化資源調度
第8章基於強化學習的雲計算資源分配研究
8 1引言
8 2研究現狀
8 3系統模型
8 3 1雲計算平台架構
8 3 2作業響應時間
8 3 3分段SLA
8 3 4有效單位時間花費
8 4基於強化學習的雲資源調度機制
8 4 1相關概念
8 4 2基於基本強化學習的資源調度演算法
8 4 3優化的資源分配策略
8 5實驗結果
8 5 1模擬雲平台驗證
8 5 2真實雲平台上進行性能驗證
8 6小結
第9章基於DQN的多目標優化的資源調度框架
9 1引言
9 2國內外發展現狀
9 2 1基於啟髮式演算法的資源調度研究
9 2 2基於強化學習的資源調度研究
9 2 3基於深度強化學習的資源調度研究
9 3系統模型
9 3 1作業負載層
9 3 2調度控制層
9 3 3數據中心層
9 4問題分析
9 4 1用戶作業負載模型
9 4 2能源消耗模型
9 4 3數學描述
9 5演算法說明與偽代碼
9 6模擬實驗與結果分析
9 6 1實驗步驟和參數設置
9 6 2實驗結果與分析
9 7小結
第10章容器雲環境虛擬資源配置策略的優化
10 1引言
10 2容器雲資源配置
10 2 1虛擬機資源配置
10 2 2容器資源配置
10 2 3虛擬機/容器遷移
10 3問題描述與數學建模
10 3 1問題描述
10 3 2數據中心的能耗模型
10 4主機選擇策略及改進
10 4 1常用物理機選擇策略
10 4 2物理機選擇策略的改進
10 4 3演算法的複雜度分析
10 5實驗結果及分析
10 5 1實驗環境
10 5 2實驗場景
10 6小結
第11章兩階段虛擬資源協同自適應調度
11 1引言
11 2國內外發展現狀
11 2 1靜態調度法
11 2 2動態調度法
11 2 3混合調度法
11 2 4局限性分析
11 3系統模型
11 3 1虛擬機租用階段系統子模型
11 3 2虛擬機使用階段系統子模型
11 4數據中心選擇演算法
11 4 1深度強化學習
11 4 2虛擬機租用階段的數據中心選擇
11 4 3虛擬機租用階段的數據中心選擇演算法
11 4 4虛擬機使用階段的數據中心選擇
11 4 5虛擬機使用階段的數據中心選擇演算法
11 5實驗驗證
11 5 1虛擬機租用階段實驗結果與分析
11 5 2虛擬機使用階段實驗結果與分析
11 6小結
第4篇雲作業和虛擬化資源協同自適應調度
第12章基於異構分散式深度學習的雲任務調度與資源配置框架
12 1引言
12 2系統框架與問題闡述
12 2 1系統框架
12 2 2問題闡述
12 3異構分散式深度學習模型
12 4模擬實驗與結果分析
12 4 1實驗設計與參數說明
12 4 2網路模型驗證實驗
12 4 3演算法比較模擬實驗
12 5小結
第13章雲工作流任務與虛擬化資源協同自適應調度機制
13 1引言
13 2自適應協同調度研究現狀及其局限性分析
13 3系統模型
13 4多智能體社會下工作流任務與虛擬化虛擬機資源自適應調度機制
13 5多智能體社會下工作流任務與虛擬化虛擬機資源協同調度機制
13 6實驗驗證
13 7小結
參考文獻

前言/序言
前言
當前，雲計算方興未艾。雲計算是一種嶄新的網路服務方式，它將傳統的以桌面為核心的任務處理轉化為以網路為核心的任務處理，利用互聯網中的計算系統來支持互聯網各類應用。雲計算提供商根據與用戶事先約定的服務等級協議(Service Level Agreement，SLA)為用戶提供服務，用戶則以用時付費模式使用服務。雲計算的服務使用模式使得計算能力可以作為一種商品進行流通，就像
水、電、煤氣一樣，取用方便，費用低廉，最大的不同在於，它是通過互聯網進行傳輸。
如何高效合理地進行資源配置與任務調度是保證用戶服務質量和雲供應商最大化收益的關鍵，並由此帶來了一系列挑戰。作者及其團隊近年來一直從事該領域的研究工作，深感有必要結合該領域的新成果、新進展和新趨勢撰寫一本學術專著，對多年來的研究工作做一次系統性的總結和梳理，並希望本書的出版能夠對該領域的研究和應用起到一定的推動作用。
本書的研究內容得到了國家自然科學基金項目(61772145、61272382、61672174)的資助，在此，特別向國家自然科學基金委員會致以衷心的感謝。團隊成員崔得龍(第2、3、4、8、13章)、李啟銳(第10、11、12章)、吳家豪(第5章)、林建鵬(第6、9章)、李凱斌(第7章)等參加了本書部分章節的寫作、文字輸入和修改工作。作者的妻子李紹平女士為本書的校對付出了辛勤的勞動。本書的責任編輯為本書的高質量出版也付出了辛勤的勞動，在此一併致謝。
由於作者水平有限，本書難免存在不足之處，敬請讀者批評指正。作者將充分吸取讀者的意見和建議，結合自身的科研工作，不斷修改完善本書內容，為推動人工智慧科學與技術相關領域的發展貢獻綿薄之力。
彭志平
2023年2月