實時分析實戰-建構實時流處理應用與分析系統 9787111759805 (英)馬克.尼達姆(MarkNeedham)著

編輯推薦
適讀人群 ：任何願意設計、構建和維護實時分析應用程序的人，包括數據工程師、架構師和技術領導者
本書帶領讀者深入探索實時分析系統，包括這些系統的核心功能以及它們所解決的複雜問題。通過閱讀本書，數據工程師將獲得使用Kafka、Google Pub/Sub和AWS Kinesis等事件處理系統進行數據流實時分析的實踐技能。洞察數據的速度越快，就越能迅捷地識別業務動態，並及時做出響應。
本書提供了對實時分析領域的全面概覽，並介紹了構建實時應用程序所需的專業知識。書中提供了一系列實踐教程，並詳細演示了如何融合多種軟體產品來打造一個虛擬比薩外賣服務的實時分析應用程序，從而將理論與實踐完美結合。

內容簡介
本書為想要設計、構建和維護實時分析應用程序的人員（包括數據工程師、架構師和技術領導者）提供了結構合理的基礎知識。第1章和第2章簡要介紹實時分析，並概述可以構建的實時分析應用程序的類型。第3章介紹一家虛構的比薩公司，該公司已經建立了流處理基礎設施，但尚未實現任何實時分析功能。 第4~10章展示如何為這家比薩公司實現不同類型的實時分析應用程序。第11~13章介紹將應用程序投入生產時的注意事項、實時分析的一些真實使用案例，以及未來幾年該領域可能會出現的情況。

作者簡介
Mark Needham是Neo4j的圖形倡導者和開發人員關係工程師。Mark幫助用戶使用圖形和Neo4j，為具有挑戰性的數據問題構建複雜的解決方案。Mark在圖數據方面有很深的專業知識，之前曾幫助構建Neo4j的因果聚類系統。

目錄

目錄
序1
前言3
第1章 實時分析簡介7
1 1 什麼是事件流7
1 2 理解流數據9
1 3 什麼是實時分析9
1 4 實時分析的優勢11
1 4 1 新的收入來源11
1 4 2 及時洞察客戶12
1 4 3 降低基礎設施成本12
1 4 4 改善整體客戶體驗12
1 5 實時分析用例12
1 5 1 面向用戶的分析13
1 5 2 個性化13
1 5 3 指標14
1 5 4 異常檢測和根本原因分析14
1 5 5 可視化14
1 5 6 即時分析15
1 5 7 日誌分析/文本搜索15
1 6 對實時分析應用程序進行分類15
1 6 1 面向內部與面向外部16
1 6 2 面向機器與面向人類17
1 7 本章小結17
第2章 實時分析生態系統19
2 1 定義實時分析生態系統19
2 2 經典流處理技術棧21
2 2 1 複雜事件處理21
2 2 2 大數據時代22
2 3 現代流處理技術棧25
2 3 1 事件生成器27
2 3 2 流處理數據平台29
2 3 3 流處理層31
2 3 4 服務層33
2 3 5 前端37
2 4 本章小結38
第3章 介紹AATD：比薩外賣店的實時分析39
3 1 現有架構40
3 2 設置42
3 2 1 MySQL43
3 2 2 Apache Kafka46
3 2 3 ZooKeeper47
3 2 4 訂單服務48
3 2 5 啟動組件49
3 3檢查數據49
3 4 實時分析的應用53
3 5 本章小結54
第4章 使用Kafka Streams進行查詢55
4 1 什麼是Kafka Streams56
4 2 什麼是Quarkus58
4 3 Quarkus應用程序58
4 3 1 安裝Quarkus CLI58
4 3 2 創建Quarkus應用程序59
4 3 3 創建拓撲結構60
4 3 4 查詢鍵值存儲62
4 3 5 創建HTTP端點65
4 4 運行應用程序66
4 5 查詢HTTP端點66
4 6 Kafka Streams的局限性66
4 7 本章小結67
第5章 服務層—Apache Pinot68
5 1 為什麼不能使用其他流處理器69
5 2 為什麼不能使用數據倉庫69
5 3 什麼是Apache Pinot69
5 4 Pinot如何對數據進行建模和存儲71
5 4 1 數據模式71
5 4 2 表72
5 5 配置72
5 6 數據攝取73
5 7 Pinot數據瀏覽器76
5 8 索引78
5 9 更新Web應用程序80
5 10 本章小結83
第6章 構建實時分析儀錶盤84
6 1 儀錶盤架構84
6 2 什麼是 Streamlit85
6 3 配置85
6 4構建儀錶盤86
6 5 本章小結94
第7章 通過CDC獲取產品變化95
7 1 從業務資料庫獲取更改信息95
7 2 CDC96
7 2 1 為什麼需要CDC96
7 2 2 什麼是CDC97
7 2 3 實施CDC的策略97
7 2 4 基於日誌的數據採集98
7 2 5 CDC系統的需求99
7 2 6 Debezium 100
7 3 將CDC應用於AATD101
7 3 1 配置101
7 3 2 將 Debezium 連接到 MySQL102
7 3 3查詢商品數據流103
7 3 4 更新產品104
7 4 本章小結106
第 8 章 使用Kafka Streams連接流107
8 1 使用Kafka Streams豐富訂單數據107
8 2 將訂單項添加到 Pinot113
8 3更新訂單服務信息116
8 4 刷新 Streamlit 儀錶盤121
8 5 本章小結123
第9章 服務層的插入更新124
9 1 訂單狀態124
9 2 豐富訂單流信息126
9 3 Apache Pinot 的插入更新129
9 4 更新訂單服務133
9 4 1 創建用戶資源文件134
9 4 2 添加一個所有用戶的端點134
9 4 3 為用戶端點添加訂單135
9 4 4 添加單個訂單端點136
9 4 5 實現跨資源共享139
9 5 前端應用程序139
9 6 儀錶盤上的訂單狀態142
9 6 1 每個訂單狀態的耗時142
9 6 2 可能被延誤的訂單144
9 7 本章小結148
第10章 地理空間查詢149
10 1 交付狀態150
10 2 更新 Apache Pinot152
10 2 1 訂單152
10 2 2 交付狀態154
10 3 更新訂單服務161
10 3 1 個人訂單162
10 3 2 按地區劃分的延遲訂單164
10 3 3 使用新的 API 端點166
10 4 本章小結167
第11章 生產環境中的注意事項169
11 1 前期準備169
11 1 1 容量規劃169
11 1 2 數據分區171
11 1 3 吞吐量173
11 1 4 數據保留174
11 1 5 數據粒度175
11 1 6 總數據大小175
11 1 7 複製因子176
11 2 部署平台176
11 2 1 自身技能176
11 2 2 數據隱私和安全176
11 2 3 成本177
11 2 4 控制178
11 3 後期管理178
11 3 1 監控和報警178
11 3 2 數據治理179
11 4 本章小結180
第12章 現實世界中的實時分析181
12 1 內容推薦（專業社交網路）181
12 1 1 問題182
12 1 2 解決方案182
12 1 3 收益183
12 2 運營分析（流媒體服務）184
12 2 1 問題185
12 2 2 解決方案185
12 2 3 收益187
12 3 實時廣告分析（網上商城）187
12 3 1 問題188
12 3 2 解決方案188
12 3 3 收益189
12 4 面向用戶的分析（協作

前言/序言
前言
本書是在現有數據基礎設施上實現實時分析應用程序的實用指南。它的目標讀者是具有一定流數據處理經驗或者想要熟悉該領域的數據工程師、數據架構師和應用程序開發人員。
在第 1 章和第 2 章中，我們對該主題進行介紹，並概述可以構建的實時分析應用程序的類型。除此之外，我們還將描述可能用到的產品 / 工具類型，並解釋如何為任務選擇合適的工具，以及那些可能不需要工具的情況。
在第 3 章中，我們介紹一家虛構的比薩公司，該公司已經建立了流處理基礎設施，但尚未實現任何實時分析功能。接下來的 7 章將展示如何為這家比薩公司實現不同類型的實時分析應用程序。如果你有興趣動手實踐，這些章節將非常適合你，希望你能從中獲得一些想法（和代碼），並將其應用到自己的項目中。
在本書的最後，我們將介紹把應用程序投入生產時的注意事項、實時分析的一些真實用例，以及通過對實時分析軟體 Crystal Ball 的關注來了解未來幾年該領域可能會出現的情況。
排版約定
本書中使用以下排版約定：
斜體（Italic）
表示新的術語、URL、電子郵件地址、文件名和文件擴展名。
等寬字體（Constant width）
用於程序清單，以及段落中的程序元素，例如，變數名、函數名、資料庫、數據類型、環境變數、語句以及關鍵字。
等寬粗體（Constant width bold）
表示應由用戶直接輸入的命令或其他文本。
等寬斜體（Constant width italic）
表示應由用戶提供的值或由上下文確定的值替換的文本。
該圖示表示提示或建議。
該圖示表示一般性說明。
示例代碼
可以從 https://oreil ly/RTA-github 下載補充材料（示例代碼、練習、勘誤等）。
這裏的代碼是為了幫助你更好地理解本書的內容。通常，可以在程序或文檔中使用本書中的代碼，而不需要聯繫 O』Reilly 獲得許可，除非需要大段地複製代碼。例如，使用本書中所提供的幾個代碼片段來編寫一個程序不需要得到我們的許可，但銷售或發布 O』Reilly 的示例代碼則需要獲得許可。引用本書的示例代碼來回答問題也不需要許可，將本書中的很大一部分示例代碼放到自己的產品文檔中則需要獲得許可。
非常歡迎讀者使用本書中的代碼，希望（但不強制）註明出處。註明出處時包含書名、作者、出版社和 ISBN，例如：Building Real-Time Analytics Systems，作者 Mark Needham，由 O』Reilly 出版，書號 978-1-098-13879-0。
如果讀者覺得對示例代碼的使用超出了上面所給出的許可範圍，歡迎通過permissions@oreilly com 聯繫我們。
O』Reilly 在線學習平台（O』Reilly Online Learning）
40 多年來，O』Reilly Media 致力於提供技術和商業培訓、知識和卓越見解，來幫助眾多公司取得成功。
我們擁有獨一無二的專家和革新者組成的龐大網路，他們通過圖書、文章、會議和我們的在線學習平台分享他們的知識和經驗。O』Reilly 的在線學習平台允許你按需訪問現場培訓課程、深入的學習路徑、互動式編程環境，以及 O』Reilly和 200 多家其他出版商提供的大量文本和視頻資源。
如何聯繫我們
對於本書，如果有任何意見或疑問，請按照以下地址聯繫本書出版商。
美國：
O』Reilly Media，Inc
1005 Gravenstein Highway North
Sebastopol，CA 95472
中國：
北京市西城區西直門南大街 2 號成銘大廈 C 座 807 室（100035）
奧萊利技術諮詢（北京）有限公司
致謝
寫這本書是一次令人振奮的旅程，我衷心感謝那些一路上為我提供支持、智慧和鼓勵的人。
首先，我要向實時分析領域的傑出思想領袖 Dunith Dhanushka 表示衷心的感謝。他富有洞察力的博客文章和在 Current 2022 上引人入勝的演講，是本書寶貴的靈感來源，塑造了本書的重要部分。與他發