Python爬蟲案例實戰 (微課視頻版) 9787302633778 呂雲翔 韓延剛 張揚 謝吉力 楊壯 王淥

內容簡介
本書主要介紹Python爬蟲編寫的基礎知識，以及對爬蟲數據的存儲、深入處理和分析。全書分為四部分： 第一部分為爬蟲基礎篇，第二部分為實戰基礎篇（9個案例），第三部分為框架應用篇（5個案例），第四部分為爬蟲應用場景及數據處理篇（6個案例）。
本書由淺入深地介紹爬蟲常用的方法和工具，以及對爬蟲數據處理的應用和實現。但需要注意的是，爬蟲的技術棧不僅包含這幾部分，而且在實際工作中的細分方法也不盡相同。本書只是對目前爬蟲技術中最為常用的一些知識點用案例的形式進行了分類和講解，而更多的應用也值得讀者在掌握一定的基礎技能後進一步探索。
本書適合Python語言初學者、網路爬蟲技術愛好者、數據分析從業人士以及高等學校計算機科學、軟體工程等相關專業的師生閱讀。

目錄
第一部分爬蟲基礎篇
第1章Python網路爬蟲基礎
1 1HTTP、HTML與JavaScript
1 1 1HTTP
1 1 2HTML
1 1 3JavaScript
1 2Requests的使用
1 2 1Requests簡介
1 2 2使用Requests編寫爬蟲程序
1 3常見的網頁解析工具
1 3 1BeautifulSoup
1 3 2XPath與lxml
1 4Scrapy框架與Selenium
1 4 1爬蟲框架： Scrapy
1 4 2模擬瀏覽器： Selenium
1 5本章小結
第二部分實戰基礎篇
第2章爬取某遊戲Top100選手信息
2 1JavaScript對象與JSON
2 2爬取方案分析
2 2 1方案一
2 2 2方案二
2 3本章小結
第3章爬取豆瓣電影簡介
3 1確定信息源
3 2獲取網頁信息
3 3解析信息內容
3 4批量爬取網頁信息
3 5本章小結
第4章爬取源代碼練習評測結果
4 1網站分析
4 2編寫爬蟲
4 3運行並查看結果
4 4本章小結
第5章爬取網路中的小說和購物評論
5 1下載網路小說
5 1 1分析網頁
5 1 2編寫爬蟲
5 1 3運行並查看TXT文件
5 2下載購物評論
5 2 1查看網路數據
5 2 2編寫爬蟲
5 2 3數據下載結果與爬蟲分析
5 3本章小結
第6章爬取新浪財經股票資訊
6 1編寫爬蟲
6 2運行並查看結果
6 3展示網頁
6 4本章小結
第7章爬取豆瓣電影海報
7 1豆瓣網站分析與爬蟲設計
7 1 1從需求出發
7 1 2處理登錄問題
7 2編寫爬蟲
7 2 1爬蟲腳本
7 2 2程序分析
7 3運行並查看結果
7 4本章小結
第8章爬取免費IP代理項目
8 1代理伺服器的分類
8 2網站分析
8 3編寫爬蟲
8 4運行並查看結果
8 5本章小結
第9章爬取微信群聊成員信息
9 1用Selenium爬取Web端微信信息
9 2基於Python的微信API工具
9 3爬蟲的部署和管理
9 3 1配置遠程主機
9 3 2編寫本地爬蟲
9 3 3部署爬蟲
9 3 4查看運行結果
9 3 5使用爬蟲管理框架
9 4本章小結
第10章爬取網易跟帖
10 1網頁自動化工具的簡介
10 2分析網頁
10 3編寫爬蟲
10 4運行並通過MongoDB查看數據
10 5本章小結
第三部分框架應用篇
第11章爬取機場航班信息
11 1分析網頁
11 2編寫爬蟲
11 3爬蟲的使用說明
11 4本章小結
第12章爬取拼多多商品的評論數據
12 1分析網頁
12 2環境搭建
12 3編寫爬蟲
12 4運行並查看資料庫MongoDB
12 5本章小結
第13章使用爬蟲框架Gain和PySpider
13 1Gain框架
13 2使用Gain做簡單爬取
13 3PySpider框架
13 4使用PySpider進行爬取
13 5本章小結
第14章爬取新浪新聞並通過客戶端展示
14 1項目分析
14 2創建資料庫
14 3設置頁面下載器
14 4生產者消費者模型
14 5客戶端界面設計
14 6本章小結
第15章爬取某機場航班出發時間數據
15 1程序設計
15 1 1分析網頁
15 1 2將數據保存到資料庫
15 2編寫爬蟲
15 2 1前置準備
15 2 2代碼編寫
15 2 3運行並查看資料庫中的結果
15 3本章小結
第四部分爬蟲應用場景及數據處理篇
第16章用爬蟲和Flask搭建新聞介面服務
16 1編寫爬蟲
16 1 1爬取數據源網頁
16 1 2搭建Flask服務
16 1 3程序代碼詳情
16 2本章小結
第17章網易雲音樂評論內容的爬取與分析
17 1jieba庫
17 2WordCloud庫
17 3網頁分析
17 4編寫爬蟲
17 5運行結果
17 6本章小結
第18章爬取二手房數據並繪製熱力圖
18 1數據爬取
18 1 1分析網頁
18 1 2地址轉換成經緯度
18 1 3編寫爬蟲
18 1 4數據下載結果
18 2繪製熱力圖
18 3本章小結
第19章用爬蟲數據搭建附近二手房價格搜索引擎
19 1編寫爬蟲
19 1 1準備數據
19 1 2安裝以及使用ES
19 1 3實現房價地理位置坐標搜索的搜索引擎
19 2本章小結
第20章爬取豆瓣電影影評並簡單分析數據
20 1需求分析與爬蟲設計
20 1 1網頁分析
20 1 2函數設計
20 2編寫爬蟲
20 2 1編寫程序
20 2 2可能的改進
20 3本章小結
第21章爬取用戶影評數據並通過推薦演算法推薦電影
21 1明確目標與數據準備
21 1 1明確目標
21 1 2數據採集與處理
21 1 3工具選擇
21 2初步分析
21 2 1用戶角度分析
21 2 2電影角度分析
21 3用推薦演算法實現電影推薦
21 4本章小結
參考文獻

前言/序言
網路爬蟲又稱為網路蜘蛛，是指按照某種規則在網路上爬取所需內容的腳本程序。它們被廣泛用於互聯網搜索引擎及各種網站的開發中，同時也是大數據和數據分析領域中的重要角色。眾所周知，每個網頁通常都包含其他網頁的入口，網路爬蟲則通過一個網址依次進入其他網址獲取所需內容。爬蟲可以按一定邏輯大批量採集目標頁面內容，並對數據做進一步的處理，人們藉此能夠更好更快地獲得並使用他們感興趣的信息，從而方便地完成很多有價值的工作。
Python是一種解釋型、面向對象的、動態數據類型的高級程序設計語言，Python語法簡潔，功能強大，在眾多高級語言中擁有十分出色的編寫效率，同時還擁有活躍的開源社區和海量程序庫，十分適合用來進行網路內容的爬取和處理。本書將以Python語言為基礎，由淺入深地探討網路爬蟲技術，同時，通過具體的程序編寫和實踐來幫助讀者了解和學習Python爬蟲。
本書共包含20個案例，從內容上分為四部分，分別代表不同的爬蟲階段及場景，包括了Python爬蟲編寫的基礎知識，以及對爬蟲數據的存儲、深入處理和分析。
第一部分爬蟲基礎篇。該部分簡單介紹了爬蟲的基本知識，便於讀者掌握相關知識，對爬蟲有基本的認識。
第二部分實戰基礎篇（9個案例）。該部分既有簡單、容易實現的入門案例，也有改進的進階案例。豐富的內容包括爬蟲常用的多種工具及方法，覆蓋了爬蟲的請求、解析、清洗、入庫等全部常用流程，是入門實踐的最佳選擇。
第三部分框架應用篇（5個案例）。該部分內容從爬蟲框架的角度出發，介紹了幾個常用框架的案例，重點介紹了Scrapy框架，以及基於Python 3后的新特性的框架，如Gain和PySpider等，同時也對高併發應用場景下的非同步爬蟲做了案例解析，是不容錯過的精彩內容。
第四部分爬蟲應用場景及數據處理篇（6個案例）。該部分內容從實際應用的角度出發，通過不同的案例展示了爬蟲爬取的數據的應用場景以及針對爬蟲數據的數據分析，可以讓讀者體會到爬蟲在不同場景上的應用，從另一個角度展示了爬蟲的魅力，可以給讀者帶來一些新的思考。
這四部分由淺入深地介紹了爬蟲常用的方法和工具，以及對爬蟲數據處理的應用和實現。但需要注意的是，爬蟲的技術棧不僅僅包含這幾部分，而且在實際工作中的細分方法也不盡相同。本書只是對目前爬蟲技術中最為常見的一些知識點，用案例的形式進行了分類和講解，而更多的應用也值得讀者在掌握一定的基礎技能後進一步探索。
本書特色
（1） 內容全面，結構清晰。本書通過案例詳細介紹網路爬蟲技術的基礎知識，討論了數據爬取、數據處理和數據分析的整個流程。
（2） 循序漸進，生動簡潔。從最簡單的Python爬蟲程序案例開始講解，兼顧內容的廣度與深度，並使用生動簡潔的闡述方式，力爭詳略得當。
（3） 示例豐富，實戰性強。網路爬蟲是實踐性、操作性非常強的技術，本書從生活實際出發，選取實用性、趣味性兼具的主題進行網路爬蟲實踐。
（4） 內容新穎，不落窠臼。本書中的代碼均採用最新的Python 3版本，並使用了主流的Python框架和庫來編寫，注重內容的時效性。網路爬蟲需要動手實踐才能真正理解，本書最大限度地保證了代碼與程序示例的易用性和易讀性。
配套資源
為便於教與學，本書配有微課視頻（380分鐘）和源代碼。
（1） 獲取微課視頻的方式： 先刮開並用手機微信App掃描本書封底的文泉雲盤防盜碼，授權后再掃描書中相應的視頻二維碼，觀看教學視頻。
（2） 獲取源代碼和全書網址的方式： 先刮開並用手機微信App掃描本書封底的文泉雲盤防盜碼，授權后再掃描下方的二維碼即可獲取。
源代碼
全書網址
（3） 其他配套資源可以掃描本書封底的「書圈」二維碼，關注后回複本書書號，即可下載。
讀者對象
本書主要面向廣大從事數據分析、機器學習、數據挖掘或深度學習的專業人員，從事高等教育的專任教師，高等學校的在讀學生及相關領域的廣大科研人員。
本書由呂雲翔、韓延剛、張揚任主編，謝吉力、楊壯、王淥汀、王志鵬、楊瑞翌任副主編。此外，曾洪立參与了部分內容的編寫、素材整理和配套資源的製作工作。
本書作者在編寫過程中參考了諸多相關資料，在此對相關資料的作者表示衷心的感謝。
限於個人水平和時間倉促，書中難免存在疏漏之處，歡迎廣大讀者批評指正。
作者
2023年3月