機器學習測試入門與實踐(全彩)（簡體書）

本書全面且系統地介紹了機器學習測試技術與質量體系建設，分為5部分，共15章。第一部分（第1～4章）涵蓋了機器學習、Python編程、數據分析的基礎知識；第二部分（第5～7章）介紹了大數據基礎、大數據測試指南及相關工具實踐；第三部分（第8～10章）講解了機器學習測試基礎、特徵專項測試及模型算法評估測試；第四部分（第11～13章）介紹了模型評估平臺實踐、機器學習工程技術及機器學習的持續交付流程；第五部分（第14章和第15章）探討了AI（Artificial Intelligence）在測試領域的實踐及AI時代測試工程師的未來。本書能夠幫助讀者瞭解機器學習是如何工作的，瞭解機器學習的質量保障是如何進行的。工程開發人員和測試工程師通過閱讀本書，可以系統化地瞭解大數據測試、特徵測試及模型評估等知識；算法工程師通過閱讀本書，可以學習模型評測的方法和拓寬模型工程實踐的思路；技術專家和技術管理者通過閱讀本書，可以瞭解機器學習質量保障與工程效能的建設方案。

艾輝，中國人民大學統計學院碩士，融360 高級技術經理。主要負責機器學習產品的質量保障工作，曾在餓了麼公司擔任高級技術經理，負責用戶產品、新零售產品的質量保障工作。有 8 年多的測試開發工作經驗，曾多次受邀在行業技術大會（ 如 MTSC、GITC、NCTS、TiD、A2M 等）上做主題分享。對大數據、機器學習測試技術有深刻的理解，並長期專注於質量保障與工程效能研究。

不同於市面上的機器學習書籍，本書是業界首部AI測試著作，填補了機器學習測試領域的空白。

本書由知名技術專家艾輝領銜融360AI測試團隊12位一線工程師聯手傾心打造，耗時一年多時間。


1）精選15個AI測試要點，從零開始，全面瞭解機器學習測試。

2）涵蓋5個技術主題，大數據、模型算法、模型評測、工程架構、智能化測試。

3）BAT等數十家一線互聯網公司的32位知名專家聯袂推薦。


本書內容設計深入淺出，學習路線清晰，幫助讀者瞭解機器學習是如何工作的，瞭解機器學習的質量保障是如何進行的。



本書主要聚焦機器學習領域，機器學習是人工智能算法的核心，書中內容均是融360 AI測試團隊在機器學習測試方面的實踐和經驗積累。希望通過這種有效的分享和學習，可以更好地促進人工智能領域的技術交流，讓思想在碰撞中迸出更多火花。

――融360聯合創始人、CEO 葉大清


不同於傳統的機器學習相關理論的教科書，本書視角新穎，從QA的角度闡述了機器學習產品的質量保障與工程效能，並側重於機器學習測試方法如何在真實業務場景的落地。書籍內容豐富，章節設計循序漸進(機器學習、數據質量、模型評測、模型工程、智能測試)，內容講解通俗易懂，並列舉了大量真實案例(如：金融風控、智能推薦、圖像分類等)，希望有助於讀者學習、理解。

――融360聯合創始人、CTO 劉曹峰


聞道有先後，希望更多有志於精湛機器學習技術，完善機器學習方法的工程師能更早地看到這本書，從中獲得體系化的總結，體悟作者的經驗之談，感受術業有專攻的進階之路，並能應用到日常工作中，也都成為所在領域的技術專家。

――阿裡巴巴本地生活 高級科學家 蔣凡


今天很高興有這樣一本書，告訴我們如何針對智能系統進行測試。例如，特徵專項測試和模型算法評估測試。這方面的測試，也是人工智能測試的核心，也是本書關鍵的內容，分別討論了模型蛻變測試、模糊測試、魯棒性測試、可解釋性測試等，其中還通過圖像分類、智能推薦、金融風控等三個典型的業務場景中的模型算法評測實踐，就這部分內容做更為詳細的分析和解讀，更好地讓讀者理解模型算法評測方法、流程和具體操作。

――同濟大學特聘教授、《全程軟件測試》作者 朱少民

機器學習測試不僅涵蓋了傳統測試人員關注的系統穩定性、功能正確性、吞吐量等問題， 而且需要覆蓋算法工程師關心的數據的準確性、模型精度、模型的線下計算和線上計算一致性等問題。本書介紹了作者在機器學習測試方面的實戰技術，非常適合對機器學習測試感興趣的讀者閱讀。


――鄒宇，攜程大數據與 AI 應用研發部負責人、VP

本書內容豐富、案例翔實，不僅闡述了數據分析、機器學習、大數據等基礎知識，還對模型算法評估、特徵測試分析、模型工程平臺等做了原理講解和案例分析。本書通俗易懂，具有很強的實用性，非常適合希望入門機器學習、大數據測試的讀者閱讀。

――沈劍，快狗打車 CTO、公眾號“架構師之路”作者

在人工智能應用快速普及的當下，如何對機器學習進行測試？怎樣衡量人工智能應用的“智商”？如何評估數據質量和模型精度？本書對這些問題都給出了解答。

――史海峰，貝殼金服 2B2C CTO、公眾號“IT 民工閒話”作者

機器學習測試是一個較新的方向，測試體系建設尚在逐步完善的階段。本書系統地介紹了機器學習測試的技術，並對機器學習模型與工程化測試等做了細緻的介紹，為 AI 測試工程師指明了學習路線。讀完本書讀者必定會對 AI 測試工作有更加全面的瞭解，並能拓展視野和進行項目實戰。

――徐明泉，順豐同城科技人工智能中心負責人

隨著大數據和人工智能的發展與普及，基於機器學習的解決方案在業務問題的建模和優化中發揮的作用越來越大，與機器學習相關的數據準確性和模型精度的測試也更加重要。與工程架構和產品功能的測試相比，非線性、敏感性導致機器學習模型的測試工作難度更大。作者把自己在相關領域的長期實踐經驗做了總結並以書的形式呈現出來，對測試人員有很好的啟發和借鑒意義。

――閆奎名，滴滴高級算法專家

做機器學習應用的公司很多，而專門做機器學習測試的團隊鳳毛麟角。艾輝和他帶領的融360 AI 測試團隊把他們在機器學習測試方面的一線實戰經驗沉澱成書，在當下顯得難能可貴。在人工智能應用正在爆發的今天，一本專門講述機器學習測試技術的書的出現恰逢其時，所有渴望擁抱人工智能的測試同行的書架上，都應該擺上這本集合了融 360 AI 測試團隊一線測試經驗的書。本書對掌握人工智能測試方法很有幫助。

――徐琨，Testin 雲測總裁

10 年前我在阿裡巴巴工作的時候就開始接觸機器學習模型的測試，當時針對算法模型測試的資料非常匱乏。10 年過去了，大數據、機器學習和深度學習應用越來越普及。如何保證機器學習項目質量、評估機器學習項目效果已經是測試人員的工作方向了。但出於種種原因，這方面的學習資料很少，本書為讀者進行機器學習測試提供了有益的指導，及時填補了這個空白。

――黃延勝（思寒），霍格沃茲測試學院創始人、測吧（北京）科技有限公司測試架構師

本書系統地闡述了融 360 AI 測試團隊在機器學習測試領域的探索和實踐。本書採用由淺入深的知識結構和通俗易懂的語言，分析機器學習測試的關鍵技術，是讀者進行機器學習測試技術入門和工程實踐的一本好書。

――茹炳晟，Dell EMC（中國研發集團）資深架構師

近幾年，各行各業的人都在思考如何利用機器學習解決自己所處領域的問題，目前機器學習技術已能夠解決測試領域的一些問題。本書作者結合自身豐富的工作實踐和經驗積累，非常全面而系統地闡述了機器學習測試技術與質量體系建設，是開發工程師、測試工程師、技術專家及技術管理者瞭解人工智能測試的案頭書。本書兼顧機器學習知識的廣度和深度，涵蓋了豐富的機器學習測試的內容，解決了很多技術人員在機器學習測試中“知其然，而不知其所以然”的困惑。

――童庭堅，PerfMa 聯合創始人兼首席技術官， 螞蟻金服原全鏈路壓測平臺與性能回歸體系建設負責人


機器學習算法和模型的錯誤可能給項目帶來巨大損失，迫切需要系統化測試來保障項目質量。與傳統軟件不同，機器學習的自主性、進化性會導致輸出結果的不確定性、難解釋性，這對測試工程師是一個很大的挑戰，機器學習測試的方法也必將與傳統軟件測試迥異。艾輝及其團隊的著作基於融 360 的成功實踐，總結了機器學習測試方法，給出了經驗證的工程實踐方案，提供了豐富的代碼和工具示例，非常適合讀者入門機器學習測試。

――丁國富，智聯聯盟智庫專家、華為前測試架構師 / 測試部部長

艾輝及其團隊將 AI 測試作為主戰場，深耕於人工智能領域，在機器學習測試中積極探索，並以嚴謹的態度將實踐經驗歸納成書，實屬難得，相信本書一定能夠為讀者帶來新的測試思路。

――吳駿龍，阿裡巴巴本地生活高級測試經理

自從機器學習技術在許多行業應用以來，測試界就開始探討如何把機器學習用在測試上，但是一些結論還停留在論文或者小規模應用中。本書無疑是這個領域的開山之作，從基礎到大數據，到模型，再到融會貫通，本書包括了機器學習測試的方方面面。本書能給剛接觸機器學習測試的讀者帶來幫助，是從業者進行機器學習測試的實踐指南。

――張立華（恒溫），測試開發專家、TesterHome 社區聯合創始人

由於機器學習自身的複雜性，傳統的軟件測試方法無法完全適用於機器學習，需要為其單獨設計一套質量保障方法。雖然在測試界的技術峰會中有專家做過相關技術的分享，但還沒有一本書可以較全面地闡述保障機器學習質量的方法。本書涵蓋了機器學習的多種質量保障方法，內容豐富，凝聚了作者多年的機器學習測試實踐經驗，非常適合對機器學習測試感興趣的讀者閱讀。

――孫遠，阿裡巴巴測試開發專家

隨著機器學習的應用，智能化已經是各行各業發展的主流趨勢。機器學習在軟件產品的研發和測試工程中，同樣發揮著重要的作用。本書不僅講解了機器學習的基本概念，還介紹了機器學習測試的實戰技術，是一本充滿“乾貨”的參考書。

――蔡怡峰，騰訊 IEG 品質管理部測試開發負責人

作者基於對測試行業的深刻理解，高屋建瓴地分析了機器學習測試方面的痛點和難點，本書是初學者不可或缺的案頭資料，也是中級測試人員在測試領域繼續探索的得力助手。

――鄒靜，百度資深測試工程師

隨著軟件產品越來越多地應用了大數據、機器學習等技術，傳統領域的軟件質量保障方法已經無法適應機器學習測試的實踐需要，艾輝在這個時候推出機器學習測試的新書，恰逢其時，為測試人員從事機器學習測試工作提供了參考。希望更多的人可以通過閱讀本書，理解機器學習，掌握機器學習質量保障技術，並將其應用到各自的測試項目中。

――王冬，360 技術中台質量工程部高級總監

機器學習技術在越來越多的領域中得到了應用，但有關機器學習測試和質量保障方法的書卻少之又少，本書的出版正好迎合了讀者這方面的學習需求。本書是作者對自己多年大數據和機器學習測試的實踐總結。從工程質量到算法質量和模型評測，從測試方法到工具平臺的應用，不管是機器學習的初學者還是資深的測試專家，都能從本書中受益。

――張濤，網易傳媒測試總監

與 AI 相關的測試在國內也是一個較新的領域，各大公司都開始了相關的探索。艾輝是業內少有的低調且務實的實踐者，本書也是其團隊在機器學習測試方面的實踐總結。書中詳盡地講解了從機器學習測試到模型工程化等內容，具有很強的指導意義。希望對機器學習測試有興趣的同行都能研讀本書，一定會受益匪淺！

――董沐，小米技術經理

本書系統地講述了機器學習的質量保障方法，從基礎知識準備，到大數據測試、特徵測試以及模型質量的各種評估測試等，內容豐富。此外，書中還包含大量的測試實踐案例，推薦所有從事測試的技術人員閱讀。

――郭靜，知乎質量團隊技術總監

機器學習作為人工智能的關鍵核心技術，已經在各大企業產品中廣泛使用，機器學習的質量也直接影響產品的性能，因此機器學習的質量保障顯得尤為重要。本書是融 360 在搜索、推薦、風控等多個應用領域進行機器學習測試的實踐總結，所有探索機器學習測試的讀者都可以從本書中得到啟發。

――徐實，知乎測試經理


在機器學習測試領域，艾輝是早期的探索和實踐者。本書內容新穎、案例翔實、通俗易懂，如果你想瞭解機器學習測試技術，本書是很好的選擇。

――熊志男，京東數科高級軟件開發工程師、測試窩社區聯合創始人

本書不僅介紹了機器學習測試的方法和基於機器學習的模型評測實踐，還深入解讀了機器學習測試技術的原理和背後的邏輯。感謝作者為測試同行帶來了這本具有全新視角的好書。

――薛亞斌，京東數科測試架構師、移動端測試負責人

隨著人工智能技術的發展，機器學習產品的測試工作成為軟件測試人員關注的重點，要做好相關產品的測試，對機器學習理論和實踐技能的掌握必不可少。本書不僅有詳細的理論基礎介紹，還結合真實業務場景和持續交付的工程實踐，全面介紹了機器學習產品的測試，是所有軟件測試人員不容錯過的好書。

――林冰玉，ThoughtWorks 資深軟件質量諮詢師

本書深入淺出、系統地介紹了機器學習和大數據的基礎知識，以及進行機器學習測試的方法。這是一本很好的機器學習測試入門圖書。

――劉冉，ThoughtWorks 資深軟件質量諮詢師

本書作者通過對工作經驗及實踐技術的總結，編寫了這本機器學習測試的入門教程，幫助讀者掌握機器學習測試的技術。本書內容豐富、案例翔實，是一本不容錯過的好書。

――陳霽（雲層），霽晦科技創始人、TestOps 架構師

艾輝及其團隊把他們在機器學習測試的工作實踐總結成書，為我們揭開了機器學習測試的神秘面紗。本書內容豐富、實戰性強，如果你也對機器學習測試的相關技術感興趣，就和我一起學習本書吧！

――陳磊，新奧雲中台質量總監

隨著機器學習在許多領域的廣泛應用，相應的測試技術也逐漸成為測試從業人員學習的重點。本書是艾輝及其團隊在機器學習測試方面的實踐總結，深入淺出地講解了機器學習測試的

技術，對想入門機器學習測試的讀者來說，著實是一本難得的好書。

――李隆（debugtalk），HttpRunner 作者

這幾年與人工智能和大數據相關的應用越來越普及，這給測試人員帶來了新的課題。人工智能、大數據測試相對於傳統測試而言有許多需要克服的難題，這使得測試人員對此束手無策。作為人工智能測試的入門書，本書系統地介紹了機器學習與大數據測試的方法，填補了國內在這個領域的空白。

――陳曉鵬，埃森哲中國卓越測試中心前負責人