Hadoop技術與應用 徐魯輝 9787300316789 【台灣高等教育出版社】

內容簡介
《Hadoop技術與應用（21世紀技能創新型人才培養系列教材·大數據系列）》主要介紹了Hadoop、HDFS、MapReduce、YARN、ZooKeeper、HBase、Hive、Sqoop、Flume、Kafka的功能、特點，以及體系架構、數據類型、運行環境等內容，相關內容均配有項目實戰內容，供讀者深入了解應用。
《Hadoop技術與應用（21世紀技能創新型人才培養系列教材·大數據系列）》在每個項目開篇處均設有【職業素養】欄目，幫助學生深刻理解數據技術是未來技術的理念，充分認識實施國家大數據戰略的重要意義，樹立學好大數據技術、成為數據新人才的目標，培養學生服務社會的責任感和報效祖國的使命感。

作者簡介
徐魯輝，副教授，西京學院信息工程學院數據科學與大數據技術專業負責人、教研室主任，目前主講課程包括《Python語言程序設計》《大數據技術原理及應用》等。主編教材《Hadoop大數據原理與應用》《Hadoop大數據原理與應用實驗教程》等。先後參与國家自然科學基金項目1項、省廳級項目7項、校級科研項目4項，主持校級教改項目1項、參与校級教改項目2項；公開發表教研論文和學術論文8篇；獲得軟體著作權1項；主持獲得省級教學成果獎一等獎1項、三等獎1項，參与獲得校級教學成果獎特等獎1項。

目錄
項目1部署全分佈模式Hadoop 集群
1 1 初識Hadoop
1 2 Hadoop 生態系統
1 3 Hadoop 體系架構
1 4 Hadoop 部署要點
1 5 項目實訓 部署全分佈模式Hadoop 集群
1 6 習題與實踐
項目2HDFS 實戰
2 1 初識HDFS
2 2 HDFS 體系架構
2 3 HDFS 文件存儲原理
2 4 HDFS 數據讀寫
2 5 HDFS 介面
2 6 項目實訓 HDFS 實戰
2 7 習題與實踐
項目3MapReduce 編程
3 1 初識MapReduce
3 2 MapReduce 作業執行流程
3 3 MapReduce 入門案例WordCount 剖析
3 4 MapReduce 數據類型
3 5 MapReduce 介面
3 6 項目實訓 MapReduce 編程
3 7 習題與實踐
項目4YARN 實戰
4 1 初識YARN
4 2 YARN 體系架構
4 3 YARN 工作流程
4 4 YARN 介面
4 5 項目實訓 YARN 實戰
4 6 習題與實踐
項目5部署ZooKeeper 集群和ZooKeeper 實戰
5 1 初識ZooKeeper
5 2 ZooKeeper 工作原理
5 3 ZooKeeper 數據模型
5 4 ZooKeeper 部署要點
5 5 ZooKeeper 介面
5 6 項目實訓 部署ZooKeeper 集群和ZooKeeper 實戰
5 7 習題與實踐
項目6部署全分佈模式HBase 集群和HBase 實戰
6 1 初識HBase
6 2 HBase 數據模型
6 3 HBase 體系架構
6 4 HBase 部署要點
6 5 HBase 介面
6 6 項目實訓 部署全分佈模式HBase 集群和HBase 實戰
6 7 習題與實踐
項目7部署本地模式Hive 和Hive 實戰
7 1 初識Hive
7 2 Hive 體系架構
7 3 Hive 數據類型
7 4 Hive 數據模型
7 5 Hive 函數
7 6 Hive 部署要點
7 7 Hive 介面
7 8 項目實訓 部署本地模式Hive 和Hive 實戰
7 9 習題與實踐
項目8Sqoop 實戰
8 1 初識Sqoop
8 2 Sqoop 體系架構
8 3 Sqoop 部署要點
8 4 Sqoop 介面
8 5 項目實訓 部署Sqoop 和Sqoop 實戰
8 6 習題與實踐
項目9Flume 實戰
9 1 初識Flume
9 2 Flume 體系架構
9 3 Flume 部署要點
9 4 Flume Shell 常用命令
9 5 項目實訓 部署單機模式Flume 和Flume 實戰
9 6 習題與實踐
項目10Kafka 實戰
10 1 初識Kafka
10 2 Kafka 體系架構
10 3 Kafka 部署要點
10 4 Kafka Shell 常用命令
10 5 項目實訓 部署Kafka 集群和Kafka 實戰
10 6 習題與實踐

精彩書摘
項目1 部署全分佈模式Hadoop 集群
項目導讀
本項目簡要介紹了Hadoop 的功能、起源和版本；詳細介紹了Hadoop 的生態系統、體系架構、運行環境、運行模式及配置文件等基本原理和知識；最後在上述理論基礎上引入項目實訓，詳細闡述了在Linux 操作系統下安裝、配置、啟動和驗證全分佈模式Hadoop 集群的實戰過程。
學習目標
了解Hadoop 的功能、起源和版本。
理解Hadoop 的生態系統組成及各組件的作用。
理解Hadoop 的體系架構。
掌握Hadoop 的部署要點，包括運行環境、運行模式和主要配置文件等。
能夠熟練地在Linux 環境下部署全分佈模式Hadoop 集群。
職業素養
本項目通過引入Hadoop 的起源，讓學生學習前輩們勇於攀登的科學精神、刻苦鑽研的學習精神；通過部署Hadoop 集群的實訓，解決部署過程中遇到的問題和困難，幫助學生養成鍥而不捨、嚴謹求實的科學素養，培養學生善於發現問題、勇於解決問題的能力，提高學習內驅力，並內化為行為準則。
1 1初識Hadoop
Hadoop 是Apache 開源組織提供的一個分散式存儲和計算的軟體框架，它具有高可用、彈性可擴展的特點，非常適合處理海量數據。Apache Hadoop 於2008 年1 月成為Apache 頂級項目。
Hadoop 是由Apache Lucence 的創始人道格·卡丁（Doug Cutting）創建的，Lucence是一個應用廣泛的文本搜索系統庫。Hadoop 起源於開源的網路搜索引擎Apache Nutch，它本身是Lucence 項目的一部分。
第一代Hadoop（即Hadoop 1 0）的核心由分散式文件系統HDFS 和分散式計算框架MapReduce 組成。後來，為了克服Hadoop1 0 中HDFS 和MapReduce 的架構設計和應用性能方面的各種問題，設計者提出了第二代Hadoop（即Hadoop 2 0），Hadoop 2 0的核心包括分散式文件系統HDFS、統一資源管理和調度框架YARN、分散式計算框架MapReduce。HDFS 是谷歌文件系統GFS 的開源實現，是面向普通硬體環境的分散式文件系統，適用於大數據場景的數據存儲，提供了高可靠、高擴展、高吞吐率的數據存儲服務。MapReduce 是谷歌MapReduce 的開源實現，是一種簡化的分散式應用程序開發的編程模型，允許開發人員在不了解分散式系統底層細節和缺少并行應用開發經驗的情況下，能快速輕鬆地編寫出分散式并行程序，並將其運行於計算機集群上，完成對大規模數據集的存儲和計算。YARN 是將MapReduce 1 0 中JobTracker 的資源管理功能單獨剝離出來而形成，它是一個純粹的資源管理和調度框架，解決了Hadoop 1 0 中只能運行MapReduce 框架的限制，可在YARN 上運行各種不同類型的計算框架，包括MapReduce、Spark、Storm 等。

前言/序言
教育是國之大計、黨之大計。職業教育和高等教育是我國教育體系的重要組成部分，肩負著「為黨育人、為國育才」的神聖使命。本書以習近平新時代中國特色社會主義思想為指導，深入落實黨的二十大精神，全面貫徹黨的教育方針，將立德樹人這一根本任務融入教材，著力培養愛黨愛國、敬業奉獻，具有工匠精神的專業技能型人才。
未來5～10年，我國大數據產業將會處於高速發展時期，社會亟須高校培養一大批大數據相關專業人才。自2016年以來，我國新增的大數據類專業包括「數據科學與大數據技術」本科專業、「大數據管理與應用」本科專業、「大數據技術與應用」專科專業，以適應地方產業發展對戰略性新興產業的人才需求。因此，學會使用大數據通用存儲和分析平台Hadoop及其生態系統，對於未來適應新一代信息技術產業的發展具有重要的意義。
Hadoop由道格·卡丁創建，起源於開源項目網路搜索引擎Apache Nutch，於2008年1月成為Apache頂級項目。Hadoop是一個開源的、可運行於大規模集群上的分散式存儲和計算的軟體框架，它具有高可用、彈性可擴展的特點，非常適合處理海量數據。目前，Hadoop在業內得到了廣泛應用，已經是公認的大數據通用存儲和分析平台，許多廠商都圍繞Hadoop提供開發工具、開源軟體、商業化工具和技術服務，例如谷歌、雅虎、微軟、淘寶等都支持Hadoop。另外，還有一些專註于Hadoop的公司可以提供商業化的Hadoop支持。
本書採用項目化方式闡述，分為10個項目。
·項目1部署全分佈模式Hadoop集群：簡要介紹了Hadoop的功能、起源和版本；詳細介紹了Hadoop的生態系統、體系架構、運行環境、運行模式及配置文件等基本原理和知識；最後引入項目實訓，詳細闡述了在Linux操作系統下安裝、配置、啟動和驗證全分佈模式Hadoop集群的實戰過程。
·項目2 HDFS實戰：簡要介紹了HDFS的功能、來源、特點；詳細闡述了HDFS體系架構、文件存儲原理、數據讀寫過程和HDFS三大介面；最後引入項目實訓，詳細闡述了使用HDFS Web UI、HDFS Shell和HDFS Java API三大介面操作和管理HDFS文件的實戰過程。
·項目3 MapReduce編程：簡要介紹了MapReduce的功能、來源和設計思想；詳細闡述了MapReduce作業的執行流程以及入門案例WordCount；簡述了MapReduce獨立設計的數據類型和MapReduce三大介面；最後引入項目實訓，詳細闡述了針對海量數據進行離線分析的MapReduce應用程序編寫過程。
·項目4 YARN實戰：簡要介紹了YARN的誕生背景、設計思路和優勢；闡述了YARN的體系架構、工作流程和三大介面；最後引入項目實訓，詳細闡述了通過YARN Web UI和YARN Shell查看MapReduce應用程序執行情況的實戰過程。
·項目5 部署ZooKeeper集群和ZooKeeper實戰：簡要介紹了ZooKeeper的功能、起源和應用場景；詳細介紹了ZooKeeper的體系架構、工作原理、數據模型、運行環境、運行模式、配置文件及ZooKeeper介面等基本原理和知識；最後引入項目實訓，詳細闡述了在Linux操作系統下部署ZooKeeper集群以及使用ZooKeeper Shell命令的實戰過程。
·項目6部署全分佈模式Hbase集群和Hbase實戰：簡要介紹了Hbase的起源和功能；詳細介紹了Hbase的數據模型、體系架構、運行環境、運行模式、配置文件及Hbase介面等基本原理和知識；最後引入項目實訓，詳細闡述了在Linux操作系統下部署全分佈模式Hbase集群以及使用Hbase Shell命令的實戰過程。
·項目7部署本地模式Hive和Hive實戰：簡要介紹了Hive的功能、來源和優缺點；詳細介紹了Hive的體系架構、數據類型、數據模型、函數、運行模式、配置文件、HiveQL等基本原理和知識；最後引入項目實訓，詳細闡述了在Linux環境下部署本地模式Hive、綜合運用HiveQL語句進行海量結構化數據離線分析的實戰過程。
·項目8 Sqoop實戰：簡要介紹了Sqoop的功能、工作流程和版本；詳細介紹了Sqoop的體系架構、運行環境、配置文件和Sqoop Shell命令等基本原理和知識；最後引入項目實訓，詳細闡述了在Linux操作系統下部署Sqoop，以及使用Sqoop Shell命令完成Hadoop和SQL資料庫之間數據導入導出的實戰過程。
項目9 Flume實戰：簡要介紹了Flume的功能、來源、特點和版本；詳細介紹了Flume的體系架構、運行環境、運行模式、配置文件、Flume Shell命令等基本原理和知識；最後引入項目實訓，詳細闡述了在Linux操作系統下部署Flume、創建Agent屬性文件和使用Flume Shell命令進行實時日誌收集的實戰過程。