本書圍繞大數據采集,對採集技術的相關基礎、技術原理、 Python實現技術、大數據挖掘與應用方法 進行了系統介紹。書中全面、完整地覆蓋了各種類型的網絡爬蟲及相關的信息處理挖掘技術,並提供了27個與爬蟲技術和應用相關的Python程序。全書共分為四大部分,即概述、基礎篇、技術與實現篇 、大數據挖掘與應用篇。第一部分是概述,首先指出了利用Python採集互聯網大數據的重要性,介紹了 相關技術研究、技術體系、 Py t hon爬蟲採集技術的合規性及應用現狀等; 第二部分是基礎篇,包括 Web服務器的應用架構以及HTTP、 Robots、 HTML、頁面編碼等相關協議和規範; 第三部分是技術與 實現篇,全面介紹了普通網絡爬蟲技術、動態頁面採集方法、主題爬蟲技術、 DeepWeb爬蟲、微博信息採集 、Web信息提取以及反爬蟲技術等,內容涵蓋了各種爬蟲技術實現方法及Python例子; 第四部分是 大數據挖掘與應用篇,介紹了用於爬蟲應用中的典型大數據處理與挖掘技術以及 Web大數據采集的常 見應用模式,並以新聞採集與分析、 SQL注入在線檢測為例介紹了Python爬蟲應用構建方法,將本書介紹的一些關鍵技術、模型和工具貫穿在一起。 本書可以作為高等院校大數據、計算機、信息以及經管、金融等相關專業的教材,也可以作為大數據、計算機、信息以及經管、金融等領域研究人員和專業技術人員的參考書。
