深入淺出Pandas：利用Python進行數據處理與分析（簡體書）

近年來，國內掀起了一股學習Python的熱潮。作為一名互聯網產品經理，我也不能免俗。憑借不錯的學習能力，我很快就入了門，但接下來，用Python來幹什麼卻成了問題，我因此迷茫了很久。後來我做數據相關的產品，經常要涉及數據采集、數據處理、數據分析等工作，總算有了相契合的使用場景。使用Python的時間越長，對Python的強大功能的體會就越深，於是我又把它推廣到了團隊。
這段從入門到實踐的Python學習之旅也引發我思考：我們學習Python是在學什麼？雖然聽說Python什麼都能做，但我發現，普通學習者在學習了Python的語法、數據類型、流程控制、函數、類等內容後，還是不知道Python能解決什麼問題。
於是，我找到Python在全社會最常見、最廣泛的使用場景，那就是收集數據、處理Excel表格、做數據分析，簡單來說就是代替Excel的復雜操作，實現高效辦公。而Pandas正是解決這方面問題的專業數據科學庫。Pandas既能完成上述這些基礎操作，又能在數據建模、機器學習等更高層次的領域發揮重要作用。
所以，對於Python的初學者，我都建議直接學Pandas，因為一來它能應對上述真實需求，學完就能解決問題；二來隨著學習的深入，你會發現不論哪個領域都需要一個數據結構來承載數據，而Pandas提供的Series和DataFrame結構正好解決了這個問題。
讀者物件
如同Python在諸多領域有廣泛應用一樣，Pandas處理的是數據問題，同樣在各行各業都能展現其魅力，因此本書沒有預設讀者的行業和職業。閱讀本書需要掌握一點Python的語法、數據結構和函數方面的基礎知識，不過零基礎的讀者也完全可以理解本書的內容，本書會介紹Python環境的安裝和Python的數據結構，方便初學者入門學習。閱讀本書也不需要有專業的線性代數和概率統計學知識，只需具備基礎的數學知識即可。
不過，還是強烈推薦以下人群閱讀本書：
Excel中度、重度使用者，如文秘、公關人員、教師，從事行政、人力資源、市場和銷售等工作的人員；
數據分析師、商業分析師、數據科學家；
互聯網運營人員、數據運營人員；
互聯網產品經理、項目經理；
開發人員、測試人員、算法人員；
財務、會計、金融從業者；
企業決策者、管理人員。
本書特色
不同於市面上眾多由開發人員編寫的Python圖書，本書作者非技術人員出身，更能從用戶體驗角度入手解決學習者的痛點。本書有以下特色：
專注於介紹Pandas；
非技術思維，語言通俗易懂，面向應用；
不需要相關背景知識，不引入Python的高級用法；
減少變量的傳遞，代碼短小精練；
覆蓋知識全，幾乎囊括了Pandas的所有函數和方法；
較少使用專業技術名詞及統計學知識；
案例使用極簡數據集，方便理解；
使用了流行的鏈式方法，代碼簡潔，邏輯清晰，可讀性強；
有大量的實用案例。
為了減少篇幅，書中未展示部分不必要的輸出結果，讀者可自行執行代碼查看結果。本書沒有一一介紹一些方法的不重要參數，對有些同時適用於DataFrame和Series的方法也未重復介紹，讀者可參考Pandas官方文檔進一步學習。除了常規的系統學習外，還可以將本書作為工具書，在日常操作中隨手查閱。本書也可作為技能培訓教材，在教學中使用。
如何閱讀本書
使用Pandas是一項技能，需要多動手實踐才能熟練掌握。因此，閱讀本書最好的方法是緊跟書中的思路，對照書中的代碼，自己輸入計算機中運行，然後在工作和生活中發現應用場景，去解決實際問題。同時建議將本書所有的方法都過一遍，以了解各種工具的作用，這樣遇到問題時心中才會有方案。最後，建議多看看Pandas官方文檔，學會看API說明，如果有能力，可以看看源碼的實現，讓自己對Pandas的掌握更上一層樓。
本書共17章，分為七部分，全面介紹了如何利用Pandas進行數據處理和數據分析。
第一部分（第1～2章）　Pandas入門
主要介紹了Python和Pandas是什麼，它們有哪些數據結構和數據類型，以及Pandas開發環境的搭建，此外還介紹了Pandas的快速入門。
第二部分（第3～5章）　Pandas數據分析基礎
主要介紹了Pandas讀取與輸出數據、索引操作、數據類型轉換、查詢篩選、統計計算、排序、位移、數據修改、數據迭代、函數應用等內容。
第三部分（第6～9章）　數據形式變化
主要介紹了Pandas的分組聚合操作、合並操作、對比操作、數據透視、轉置、歸一化、標準化等，還包括利用多層索引對數據進行升降維處理。
第四部分（第10～12章）　數據清洗
主要介紹了缺失值和重復值的識別、刪除、填充，數據的替換、格式轉換，文本的提取、連接、匹配、切分、替換、格式化、虛擬變量化等，還介紹了分類數據的應用場景和操作方法。
第五部分（第13～14章）　時序數據分析
主要介紹了Pandas中對於時間類型數據的處理和分析，包括固定時間、時長、周期、時間偏移等的表示方法、查詢、計算、格式處理，以及時區轉換、重采樣、工作日和工作時間的處理方法。本部分還講解了在時序數據處理中經常使用的窗口計算。
第六部分（第15～16章）　可視化
主要介紹了P

前言
第一部分　Pandas入門
第1章　Pandas簡介及快速入門2
1.1　Pandas是什麼2
1.1.1　Python簡介2
1.1.2　Python的應用3
1.1.3　為什麼不選擇R4
1.1.4　Pandas簡介4
1.1.5　Pandas的使用人群5
1.1.6　Pandas的基本功能5
1.1.7　Pandas的學習方法6
1.1.8　小結6
1.2　環境搭建及安裝6
1.2.1　Python環境安裝7
1.2.2　Anaconda簡介7
1.2.3　安裝miniconda8
1.2.4　多Python版本環境9
1.2.5　安裝編輯器10
1.2.6　Jupyter Notebook10
1.2.7　用pip安裝三方庫11
1.2.8　安裝Jupyter Notebook12
1.2.9　啟動Jupyter Notebook12
1.2.10　使用Jupyter Notebook13
1.2.11　安裝Pandas14
1.2.12　小結14
1.3　Pandas快速入門14
1.3.1　安裝導入14
1.3.2　準備數據集15
1.3.3　讀取數據15
1.3.4　查看數據16
1.3.5　驗證數據17
1.3.6　建立索引17
1.3.7　數據選取18
1.3.8　排序19
1.3.9　分組聚合19
1.3.10　數據轉換20
1.3.11　增加列21
1.3.12　統計分析21
1.3.13　繪圖21
1.3.14　導出24
1.3.15　小結24
1.4　本章小結24
第2章　數據結構25
2.1　數據結構概述25
2.1.1　什麼是數據25
2.1.2　什麼是數據結構26
2.1.3　小結26
2.2　Python的數據結構26
2.2.1　數字27
2.2.2　字符串27
2.2.3　布爾型28
2.2.4　列表29
2.2.5　元組30
2.2.6　字典30
2.2.7　集合31
2.2.8　小結32
2.3　NumPy32
2.3.1　NumPy簡介33
2.3.2　數據結構33
2.3.3　創建數據34
2.3.4　數據類型34
2.3.5　數組信息35
2.3.6　統計計算35
2.3.7　小結35
2.4　Pandas的數據結構35
2.4.1　Series36
2.4.2　DataFrame36
2.4.3　索引37
2.4.4　小結38
2.5　Pandas生成數據38
2.5.1　導入Pandas38
2.5.2　創建數據38
2.5.3　生成Series40
2.5.4　生成DataFrame41
2.5.5　小結43
2.6　Pandas的數據類型43
2.6.1　數據類型查看43
2.6.2　常見數據類型44
2.6.3　數據檢測44
2.6.4　小結45
2.7　本章小結45
第二部分　Pandas數據分析基礎
第3章　Pandas數據讀取與輸出48
3.1　數據讀取48
3.1.1　CSV文件49
3.1.2　Excel49
3.1.3　JSON 50
3.1.4　HTML50
3.1.5　剪貼板51
3.1.6　SQL51
3.1.7　小結52
3.2　讀取CSV52
3.2.1　語法52
3.2.2　數據內容53
3.2.3　分隔符53
3.2.4　表頭54
3.2.5　列名54
3.2.6　索引54
3.2.7　使用部分列54
3.2.8　返回序列55
3.2.9　表頭前綴55
3.2.10　處理重復列名55
3.2.11　數據類型55
3.2.12　引擎55
3.2.13　列數據處理56
3.2.14　真假值轉換56
3.2.15　跳過指定行56
3.2.16　讀取指定行57
3.2.17　空值替換57
3.2.18　保留默認空值57
3.2.19　日期時間解析58
3.2.20　文件處理59
3.2.21　符號60
3.2.22　小結61
3.3　讀取Excel61
3.3.1　語法61
3.3.2　文件內容62
3.3.3　表格62
3.3.4　表頭62
3.3.5　列名62
3.3.6　其他62
3.3.7　小結63
3.4　數據輸出63
3.4.1　CSV63
3.4.2　Excel63
3.4.3　HTML64
3.4.4　數據庫（SQL）64
3.4.5　Markdown65
3.4.6　小結65
3.5　本章小結65
第4章　Pandas基礎操作66
4.1　索引操作66
4.1.1　認識索引66
4.1.2　建立索引67
4.1.3　重置索引68
4.1.4　索引類型68
4.1.5　索引物件69
4.1.6　索引的屬性70
4.1.7　索引的操作70
4.1.8　索引重命名72
4.1.9　修改索引內容72
4.1.10　小結73
4.2　數據的信息73
4.2.1　查看樣本73
4.2.2　數據形狀74
4.2.3　基礎信息74
4.2.4　數據類型74
4.2.5　行列索引內容75
4.2.6　其他信息75
4.2.7　小結75
4.3　統計計算76
4.3.1　描述統計76
4.3.2　數學統計77
4.3.3　統計函數78
4.3.4　非統計計算79
4.3.5　小結80
4.4　位置計算80
4.4.1　位置差值diff()80
4.4.2　位置移動shift()81
4.4.3　位置序號rank()81
4.4.4　小結82
4.5　數據選擇82
4.5.1　選擇列83
4.5.2　切片[]83
4.5.3　按軸標簽.loc84
4.5.4　按數字索引.iloc86
4.5.5　取具體值.at/.iat86
4.5.6　獲取數據.get86
4.5.7　數據截取.truncate87
4.5.8　索引選擇器87
4.5.9　小結87
4.6　本章小結88
第5章　Pandas高級操作89
5.1　復雜查詢89
5.1.1　邏輯運算89
5.1.2　邏輯篩選數據91
5.1.3　函數篩選92
5.1.4　比較函數92
5.1.5　查詢df.query()93
5.1.6　篩選df.filter()93
5.1.7　按數據類型查詢93