目錄
項目一 認識大數據分析 1
學習目標 1
項目導學 2
任務一 大數據分析認知 2
任務二 大數據分析的應用 8
任務三 瞭解大數據分析平臺——魔鏡 13
任務四 瞭解大數據分析平臺——Python 20
拓展閱讀1 26
項目二 大數據工程技術基礎 27
學習目標 27
項目導學 28
任務一 大數據采集和存儲 29
任務二 Hadoop生態 35
任務三 數據開發 38
任務四 魔鏡平臺數據源的接入和編輯 42
任務五 Python平臺數據源的接入和編輯 47
拓展閱讀2 50
項目三 大數據治理 51
學習目標 51
項目導學 52
任務一 數據標準管理 53
任務二 數據清洗 57
任務三 數據資產管理 62
任務四 魔鏡平臺數據處理應用 65
任務五 Python數據處理應用 74
拓展閱讀3 75
項目四 大數據分析 77
學習目標 77
項目導學 78
任務一 瞭解數據分析 78
任務二 數據分析的常見指標和方法 81
任務三 魔鏡平臺常見數據指標應用 92
任務四 Python常見數據指標應用 98
拓展閱讀4 100
項目五 數據挖掘 101
學習目標 101
項目導學 102
任務一 數據挖掘 102
任務二 數據挖掘的流程和算法 106
任務三 魔鏡平臺數據挖掘算法應用 114
任務四 Python數據挖掘算法應用 119
拓展閱讀5 120
項目六 大數據可視化 121
學習目標 121
項目導學 122
任務一 數據可視化分類 122
任務二 數據可視化的表現形式 124
任務三 魔鏡平臺數據可視化應用 128
任務四 Python數據可視化應用 153
拓展閱讀6 159
項目七 行業數據分析實戰 161
學習目標 161
項目導學 162
任務一 能源——油井數據分析 162
任務二 財務——某公司財務數據分析 171
任務三 房地產——某市樓市數據分析 182
任務四 零售行業——供應鏈數據分析 190
任務五 乳業——乳品企業數據分析 204
拓展閱讀7 213
精彩書摘
項目一 認識大數據分析學習目標
【知識目標】
掌握大數據的基本知識和大數據分析的應用過程;
瞭解大數據分析的知識和應用;
瞭解兩種大數據分析工具的基本操作模塊。
【能力目標】
能運用所學的大數據知識參與企業的數據分析活動;
能對企業的數據分析流程作出判斷,採取相應行動;
能運用兩種大數據分析工具設計簡單的實驗項目。
【素養目標】
培養學生關注中國大數據發展和政策的職業習慣;
參與實訓項目設計,具備大數據工作中需要的素養;
培養學生良好的溝通、表達能力,團隊協作能力,以及良好的職業道德。
任務一 大數據分析認知
任務導入
你知道什麼是大數據分析嗎?
王偉是某職業院校的學生,在學校期間,曾學習過有關大數據方面的知識,比如大數據的定義和特徵、大數據分析思維大數據分析過程和工具等。
最近,他獲得了到某大數據公司數據分析部門實習實踐的機會,他想抓住這次機會,爭取畢業後能夠留在公司任職數據分析師。因此,他需要系統回顧學習和掌握大數據方面的知識和內容,咱們一塊幫助他進行梳理吧!
知識儲備
在數字經濟的背景下,大數據分析已經成為各個領域中不可或缺的技術。數字經濟的興起,使得各行各業都面臨著海量數據帶來的挑戰。而大數據分析正是為了應對這個挑戰而誕生的,它幫助人們從海量、複雜多樣化的數據中提取有價值的信息,為各行各業帶來更多的機遇。例如,在自然語言處理方面,已經出現了能夠自動生成文章 和對話的AI技術,讓人們對未來的人工智能充滿了期待和想像。未來,大數據分析將繼續創造價值實現更加智能化、自動化和個性化的發展。
一、大數據概述
(一)數據與大數據
提到大數據這個曝光頻次超高的詞匯大部分人會第一時間聯想到以計算機的發明為代表的第三次科技革命,但是事實上,數據的歷史遠比計算機時代要久遠得多,可以追溯到上古時期的原始氏族社會。結繩記事的出現,徹底改變了人類的命運知識和經驗的傳承不再依賴於不精確的口耳相傳,信息的傳遞第一次變得快捷而又準確,文明的種子得以如星火燎原般在每一塊大陸上散播生長。沒有文字系統的印加人甚至依靠結繩記事的方式管理龐大的帝國直到16世紀。
自古以來,人類社會一個最重要的基礎需求,就是人與信息的連接。從甲骨文,到造紙術的發明,再到畢昇發明活字印刷術,直至互聯網的興起,以及智能手機和移動互聯網的席捲全球,信息傳播工具的進步推動著數據處理方式的演進促使政府機構的行政管理效率不斷提升,社會經濟產業結構得以持續地優化升級。可以說,人類社會的發展史正是一部數據收集、分析、處理和應用的演化史,數據處理技術的不斷進步推動著人類社會的不斷發展。隨著互聯網和信息技術的快速發展。數據產生和收集的速度越來越快數據規模也越來越大。通過分析和挖掘這些數據,可以揭示出各種隱藏的信息和規律,幫助人們做出更明智的決策。
在大數據時代,數據的價值已經遠遠超過了傳統的商業智能和企業級信息系統所能提供的範圍。通過對海量數據的分析,企業可以更好地理解客戶需求發現市場趨勢,提高運營效率。政府部門也可以通過大數據提高治理效率。更好地服務社會。大數據時代已經來臨,它為人們提供了更多的機會和挑戰。人們需要更好地理解和應用大數據,以應對未來的挑戰和機遇。
前言/序言
隨著信息技術的飛速發展,大數據分析已經成為各個領域不可或缺的技術。近年來,我國的數據產量持續高速增長,在全球數據總產量排名中名列前茅。黨的二十大強調,加快建設網絡強國、數字中國,推動戰略性新興產業融合集群發展,構建新一代信息技術等一批新的增長引擎。
本書為計算機類職業教育國家在線精品課程配套系列教材之一,圍繞大數據分析與應用的課程教學要求,精心設計教學內容,以”工作案例→知識儲備→實踐操作→任務評價→展閱讀”為主線,基於自主可控的大數據分析平臺”魔鏡”和Python數據分析工具,對接大數據分析工程師崗位,結合企業真實工作案例,讓學生學習和實踐兩種大數據分析技術,為日後從事大數據分析工作打下良好的基礎。本書按照”項目一任務”的模式進行編寫,共設計7個項目,包括認識大數據分析、大數據工程技術基礎、大數據治理、大數據分析、數據挖掘、大數據可視化、行業數據分析實戰,幫助學生理解大數據領域的相關概念和大數據分析的工作流程,著重培養學生應用大數據分析技術及相關工具、平臺解決實際問題的能力。
本書圍繞高職院校計算機類專業對大數據技術學科人才培養的需求,並結合黨的二十大精神進教材、進課堂、進頭腦要求,在結構體例編排、內容案例選取和教學方法設置等方面進行了大膽創新,以滿足新時代職業教育的需要。本書特色如下。
1 內容設計上,本書項目來自企業真實工作案例,技術技能實用性強,知識結構普適性強,符合高職學生認知的特點。
2 素養融入上,本書將數據安全規範、大數據建設相關政策等內容融入任務設計、拓展閱讀中,培養學生的數據安全意識和職業素養服務推動數字技術創新和產業發展的高素質技術技能人才培養。另外,本書在每個任務後設計了任務評價模塊,培養學生良好的學習習慣。
3 資源配套上,本書配套數字課程、微課視頻、教學設計、授課用PPT、案例素材、習題答案等,滿足各類授課需求及學習場景。
本書由浙江經濟職業技術學院單友成教授、博士擔任主編,馬榮飛、陳華鵬、朱瓊瓊擔任副主編,劉若微、王慶、洪李甜、劉嬌擔任參編,北京中雲國創數據科技有限公司和蘇州國雲數據科技有限公司擔任技術支持。主編從事信息技術及現代管理領域理論研究與教學實踐近三十年,從事大數據分析及供應鏈管理領域理論研究與教學實踐近十年,主持國家級在線精品課程《大數據分析與應用》,作為統稿人,為本書的七個項目、三十一個任務提供了教學講義、微課視頻、實戰案例等全部手稿;副主編為本書的大綱、模塊設計提供了修改建議;參編為本書的課堂教學、實訓指導提供了檢驗佐證;技術支持為本書的數據分析、應用提供了實驗平臺。
由於編者水平有限,書中難免有疏漏之處,懇請廣大讀者和專家批評指正。
編者
2024年5月
詳細資料或其他書籍請至台灣高等教育出版社查詢,查後請於客服中心或Line或本社留言板留言,我們即儘速上架。