網絡爬蟲技術（簡體書）

本書是一本專注於介紹如何通過技術實現爬取有用數據的書籍，內容包括網頁構造的認識、靜態網頁的爬取、數據存儲、動態網頁爬取、反爬限制技術、Scrapy爬蟲框架。本書注重實踐，適合用作應用型本科、高職院校等計算機相關專業的專業核心課的教材，或軟件開發、大數據、人工智能等相關行業從業人員的技術性參考書籍。

項目1 網頁構造的認識
任務1.1 認識網絡爬蟲
1.1.1 大數據與網絡爬蟲
1.1.2 編程環境及工具包
任務1.2 網頁構造
1.2.1 HTTP和HTTPS
1.2.2 HTML和CSS
1.2.3 Session和Cookie
1.2.4 多線程和多進程
項目2 靜態網頁爬取
任務2.1 實現HTTP請求
2.1.1 Requests庫的使用
2.1.2 HTTPX庫的使用
2.1.3 任務實施
任務2.2 解析網頁數據
2.2.1 BeautifulSoup庫的使用
2.2.2 lxml庫的使用
2.2.3 正則表達式
2.2.4 Parsel庫的使用
2.2.5 任務實施
任務2.3 基礎爬蟲案例分析與實戰
項目3 數據存儲
任務3.1 存儲到文件
3.1.1 存儲為文本文件
3.1.2 存儲為CSV文件
3.1.3 存儲為JSON文件
3.1.4 任務實施
任務3.2 存儲到數據庫
3.2.1 存儲到MySQL數據庫
3.2.2 存儲到MongoDB數據庫
3.2.3 任務實施
任務3.3 中間件使用
3.3.1 Redis的使用
3.3.2 Kafka的使用
3.3.3 RabbitMQ的使用
3.3.4 任務實施
項目4 動態網頁爬取
任務4.1 逆向分析爬取
4.1.1 Ajax與數據爬取
4.1.2 網站加密與JavaScript Hook
4.1.3 PyExecJS庫的使用
4.1.4 任務實施
任務4.2 使用Selenium模擬瀏覽器
4.2.1 Selenium爬蟲應用
4.2.2 任務實施
任務4.3 動態網站分析與爬蟲案例實戰
項目5 反爬限制技術
任務5.1 圖片校驗碼
5.1.1 OCR技術的使用
5.1.2 手機驗證碼的處理技術
任務5.2 帳號限制
任務5.3 IP限制
任務5.4 反爬分析與爬蟲案例實戰
項目6 Scrapy爬蟲框架
任務6.1 初探Scrapy
6.1.1 Scrapy框架入門
6.1.2 Spider的使用
6.1.3 Selector的使用
6.1.4 任務實施
任務6.2 Scrapy拓展
6.2.1 對接Selenium的應用
6.2.2 對接Splash的應用
6.2.3 任務實施
任務6.3 Scrapy爬蟲案例實戰
附錄 爬蟲的法律法規