內容簡介
本書從項目背景、基本概念、架構設計和工程實踐等多角度出發,全面解讀Pulsar的核心原理與應用方法。作為雲原生的分散式消息隊列和流數據平台,Pulsar不僅支持雲原生、多租戶、跨區域數據複製等高級功能,還支持消息隊列事務、分層存儲、可插拔的消息隊列協議、Pulsar Function、Pulsar I/O、Pulsar SQL等拓展功能,且可與Apache Spark、Apache Flink等計算引擎,及Apache Flume、Apache Kafka、Logstash等社區生態相結合。所以,通過Pulsar可以輕鬆構建出一整套的數據服務。本書對這些內容均進行了詳細介紹。 本書包括3篇11章。 基礎篇(第1~4章)首先對Pulsar的背景進行簡單介紹,並對多種消息隊列進行重點比較分析;然後對Pulsar的基本概念和基本架構進行分析,讓讀者對Pulsar有一個總體的了解;接著分享了Pulsar安裝與部署的方法,以方便讀者快速上手並構建自己的服務;最後深度解讀了Pulsar的基本使用方法。 原理篇(第5~7章)首先深度解讀了Pulsar的核心組件Broker、Bookie、ManagedLedger、主題管理等的原理;然後分析了構建在這些核心組件之上的高級特性,如事務管理、消息協議拓展、分層存儲設計、消息延遲傳遞與主題壓縮;最後對Pulsar提供的輕量化流數據處理引擎Pulsar Function及I/O功能進行剖析。 應用篇(第8~11章)首先分享了Pulsar在結構化數據查詢與實時處理引擎技術方面的實踐,介紹了Pulsar如何與Trino、Flink、Spark等引擎相結合;接著對Pulsar安全配置、服務管理、服務監控等進行討論;最後介紹了Pulsar服務的應用模式,以及Pulsar在數據集成、動態數據捕獲和高可靠性配置等方面的實踐。作者簡介
楊國棟,騰訊軟體工程師,Apache Pulsar、Apache Flink等項目的核心貢獻者,Apache Pulsar社區開源愛好者,杭州電子科技大學碩士。 曾參与某大型數據中台建設項目,以及消息隊列服務(Pulsar、Kafka)及其相關數據匯流排服務的開發與建設工作。在Apache Pulsar、Apache Flink落地實踐方面具有豐富的經驗。 公眾號「大數據技術事務所」運營者。 專註于技術積累,熱愛技術分享,活躍于多個技術論壇。目錄
前言