聯邦學習（簡體書）

如何在保證本地訓練數據不公開的前提下，實現多個數據擁有者協同訓練一個共享的機器學習模型？傳統的機器學習方法需要將所有的數據集中到一個地方(例如，數據中心)，然後進行機器學習模型的訓練。但這種基於集中數據的做法無疑會嚴重侵害用戶隱私和數據安全。如今，世界上越來越多的人開始強烈要求科技公司必須根據用戶隱私法律法規妥善地處理用戶的數據，歐盟的《通用數據保護條例》是一個很好的例子。在本書中，我們將描述聯邦學習(亦稱聯邦機器學習)如何將分布式機器學習、密碼學、基於金融規則的激勵機制和博弈論結合起來，以解決分散數據的使用問題。我們會介紹不同種類的面向隱私保護的機器學習解決方案以及技術背景，並描述一些典型的實際問題解決案例。我們還會進一步論述聯邦學習將成為下一代機器學習的基礎，可以滿足技術和社會需求並促進面向安全的人工智能的開發和應用。

楊強,是微眾銀行的首席人工智能官(CAIO)和香港科技大學(HKUST)計算機科學與工程系講席教授。他是香港科技大學計算機科學與工程系的前任系主任，並曾擔任大數據研究院的創始主任(2015-2018 年)。他的研究興趣包括人工智能、機器學習和數據挖掘，特別是遷移學習、自動規劃、聯邦學習和基於案例的推理。他是多個國際協會的會士(Fellow)，包括ACM、AAAI、IEEE、IAPR 和AAAS。他於1982 年獲得北京大學天體物理學學士學位，分別於1987年和1989 年獲得馬裡蘭大學帕克分校計算機科學系碩士學位和博士學位。他曾在在滑鐵盧大學(1989-1995 年)和西蒙弗雷澤大學(1995-2001 年)擔任教授。他是ACM TIST 和IEEE TBD 的創始主編。他是國際人工智能聯合會議(IJCAI)的理事長(2017-2019 年)和人工智能發展協會(AAAI)的執行委員會成員(2016-2020 年)。楊強教授曾獲多個獎項，包括2004/2005 ACM KDDCUP 冠軍、ACM SIGKDD 卓越服務獎(2017)、AAAI 創新人工智能應用獎(2018, 2020)和吳文俊人工智能傑出貢獻獎(2019)。他是華為諾亞方舟實驗室的創始主任(2012-2014 年)和第四範式(AI 平臺公司)的共同創始人。他是Intelligent Planning (Springer)、Crafting Your Research Future (Morgan & Claypool)、Transfer Learning (Cambridge UniversityPress)與Constraint-based Design Recovery for Software Engineering (Springer)等著作的作者。
劉洋,微眾銀行AI 項目組的高級研究員。她的研究興趣包括機器學習、聯邦學習、遷移學習、多智能體系統、統計力學，以及這些技術的產業應用。她於2012 年獲得普林斯頓大學博士學位，2007 年獲得清華大學學士學位。她擁有多項國際發明專利，研究成果曾發表於Nature、IJCAI 和ACM TIST 等科研刊物和會議上。她曾獲AAAI 人工智能創新應用獎、IJCAI 創新應用獎等多個獎項，並擔任IJCAI 高級程序委員會委員，NeurIPS 等多個人工智能會議研討會聯合主席，以及IEEE Intelligent Systems 期刊客座編委等。
程勇,微眾銀行AI 項目組的高級研究員。他曾任華為技術有限公司(深圳)高級工程師和德國貝爾實驗室高級研究員，也曾在華為-香港科技大學創新實驗室擔任研究員。他的研究興趣和專長主要包括聯邦學習、深度學習、計算機視覺和OCR、數學優化理論和算法、分布式和網絡計算以及混合整數規劃。他發表期刊和會議論文20 餘篇。他於2006 年、2010 年、2013 年分別在浙江大學、香港科技大學、德國達姆施塔特工業大學獲工學學士學位(一等榮譽)、碩士學位和博士學位。他于2014 年獲達姆施塔特工業大學最佳博士論文獎，於2006 年獲浙江大學最佳學士論文獎。他在ICASSP'15 會議上做了關於“混合整數規劃”的教程。他是IJCAI'19 和NIPS'19 等國際會議的程序委員會委員。
康焱,微眾銀行AI 項目組的高級研究員。他的工作重點是面向隱私保護的機器學習和聯邦遷移學習技術的研究和實現。他在馬裡蘭大學巴爾的摩分校獲計算機碩士和博士學位。他的博士論文研究的是以機器學習和語義網絡進行異構數據集成，並獲得了博士論文獎學金。在就讀研究生期間，他參與了與美國國家標準與技術研究院(NIST)和美國國家科學基金會(NSF)合作的多個項目，設計和開發語義網絡集成系統。他在商業軟件項目方面也有著豐富的經驗。他曾在美國Stardog Union 公司和美國塞納公司工作了四年多的時間，從事系統設計和實現方面的工作。
陳天健,是微眾銀行AI 項目組的副總經理。他現在負責構建基於聯邦學習技術的銀行智能生態系統。在加入微眾銀行之前，他是百度金融的首席架構師，同時也是百度的首席架構師。他擁有超過12 年的大規模分布式系統設計經驗，並在Web 搜索引擎、對等網絡存儲、基因組學、推薦系統、數字銀行和機器學習等多個應用領域中實現了技術創新。他現居於中國深圳，與其他工作夥伴一起建設和推廣聯邦AI 生態系統和相關的開源項目FATE。
於涵,現任職新加坡南洋理工大學(NTU)計算機科學與工程學院助理教授、微眾銀行特聘顧問。在2015―2018 年期間，他在南洋理工大學擔任李光耀博士後研究員(LKY PDF)。在加入南洋理工大學之前，他曾在新加坡惠普公司擔任嵌入式軟件工程師。他於2014 年獲南洋理工大學計算機科學博士學位。他的研究重點是在線凸優化、人工智能倫理、聯邦學習及其在眾包等複雜協作系統中的應用。他在國際學術會議和期刊上發表研究論文120 餘篇，獲得了多項科研獎項。

面向數據安全和隱私保護機器學習學術成果和應用案例，數據孤島和數據保護難題破解之法

《聯邦學習》凝聚了楊強教授團隊的多年學術成果和工程經驗國際首部全面、系統論述聯邦學習的中文著作剖析了聯邦學習與數據安全、隱私保護的前沿學術成果涵蓋隱私保護技術，聯邦學習定義、分類、算法和系統，聯邦學習激勵機制等論述聯邦學習在計算機視覺、自然語言處理和推薦系統等領域的應用探討如何解決用戶隱私、數據安全及聯邦學習應用落地問題

序言Ⅲ

前言Ⅳ

作者簡介Ⅷ



第1 章 引言/1

1.1 人工智能面臨的挑戰/2

1.2 聯邦學習概述/4

1.2.1 聯邦學習的定義/5

1.2.2 聯邦學習的分類/8

1.3 聯邦學習的發展/11

1.3.1 聯邦學習的研究/11

1.3.2 開源平臺/13

1.3.3 聯邦學習標準化進展/14

1.3.4 聯邦人工智能生態系統/15



第2 章 隱私、安全及機器學習/17

2.1 面向隱私保護的機器學習/18

2.2 面向隱私保護的機器學習與安全機器學習/18

2.3 威脅與安全模型/19

2.3.1 隱私威脅模型/19

2.3.2 攻擊者和安全模型/21

2.4 隱私保護技術/22

2.4.1 安全多方計算/22

2.4.2 同態加密/27

2.4.3 差分隱私/30



第3 章 分布式機器學習/35

3.1 分布式機器學習介紹/36

3.1.1 分布式機器學習的定義/36

3.1.2 分布式機器學習平臺/37

3.2 面向擴展性的DML /39

3.2.1 大規模機器學習/39

3.2.2 面向擴展性的DML 方法/40

3.3 面向隱私保護的DML /43

3.3.1 隱私保護決策樹/43

3.3.2 隱私保護方法/45

3.3.3 面向隱私保護的DML 方案/45

3.4 面向隱私保護的梯度下降方法/48

3.4.1 樸素聯邦學習/49

3.4.2 隱私保護方法/49

3.5 挑戰與展望/51



第4 章 橫向聯邦學習/53

4.1 橫向聯邦學習的定義/54

4.2 橫向聯邦學習架構/55

4.2.1 客戶-服務器架構/55

4.2.2 對等網絡架構/58

4.2.3 全域模型評估/59

4.3 聯邦平均算法介紹/60

4.3.1 聯邦優化/60

4.3.2 聯邦平均算法/63

4.3.3 安全的聯邦平均算法/65

4.4 聯邦平均算法的改進/68

4.4.1 通信效率提升/68

4.4.2 參與方選擇/69

4.5 相關工作/69

4.6 挑戰與展望/71



第5 章 縱向聯邦學習/73

5.1 縱向聯邦學習的定義/74

5.2 縱向聯邦學習的架構/75

5.3 縱向聯邦學習算法/77

5.3.1 安全聯邦線性回歸/77

5.3.2 安全聯邦提升樹/80

5.4 挑戰與展望/85



第6 章 聯邦遷移學習/87

6.1 異構聯邦學習/88

6.2 聯邦遷移學習的分類與定義/88

6.3 聯邦遷移學習框架/90

6.3.1 加法同態加密/93

6.3.2 聯邦遷移學習的訓練過程/94

6.3.3 聯邦遷移學習的預測過程/95

6.3.4 安全性分析/95

6.3.5 基於秘密共享的聯邦遷移學習/96

6.4 挑戰與展望/97



第7 章 聯邦學習激勵機制/99

7.1 貢獻的收益/100

7.1.1 收益分享博弈/100

7.1.2 反向拍賣/102

7.2 注重公平的收益分享框架/103

7.2.1 建模貢獻/103

7.2.2 建模代價/104

7.2.3 建模期望損失/105

7.2.4 建模時間期望損失/105

7.2.5 策略協調/106

7.2.6 計算收益評估比重/108

7.3 挑戰與展望/109



第8 章 聯邦學習與計算機視覺、自然語言處理及推薦系統/111

8.1 聯邦學習與計算機視覺/112

8.1.1 聯邦計算機視覺/112

8.1.2 業內研究進展/114

8.1.3 挑戰與展望/115

8.2 聯邦學習與自然語言處理/116

8.2.1 聯邦自然語言處理/116

8.2.2 業界研究進展/118

8.2.3 挑戰與展望/118

8.3 聯邦學習與推薦系統/119

8.3.1 推薦模型/120

8.3.2 聯邦推薦系統/121

8.3.3 業界研究進展/123

8.3.4 挑戰與展望/123



第9 章 聯邦強化學習/125

9.1 強化學習介紹/126

9.1.1 策略/127

9.1.2 獎勵/127

9.1.3 價值函數/127

9.1.4 環境模型/127

9.1.5 強化學習應用舉例/127

9.2 強化學習算法/128

9.3 分布式強化學習/130

9.3.1 異步分布式強化學習/130

9.3.2 同步分布式強化學習/131

9.4 聯邦強化學習/131

9.4.1 聯邦強化學習背景/131

9.4.2 橫向聯邦強化學習/132

9.4.3 縱向聯邦強化學習/134

9.5 挑戰與展望/136



第10 章 應用前景/139

10.1 金融/140

10.2 醫療/141

10.3 教育/142

10.4 城市計算和智慧城市/144

10.5 邊緣計算和物聯網/146

10.6 區塊鏈/147

10.7 第五代移動網路/148



第11 章 總結與展望/149



附錄A 數據保護法律和法規/151

A.1 歐盟的數據保護法規/152

A.1.1 GDPR 中的術語/153

A.1.2 GDPR 重點條款/154

A.1.3 GDPR 的影響/156

A.2 美國的數據保護法規/157

A.3 中國的數據保護法規/158



參考文獻/161