語言測評效度理論新發展研究（簡體書）

劉建達，博士、教授、博士生導師，*”新世紀優秀人才培養計劃“入選者，現任廣東外語外貿大學副校長，廣東省大學英語課程教學指導委員會主任、*大學英語教學指導委員會副主任委員，中國英漢語比較研究會外語測試與評價專業委員會會長。曾任*考試中心副主任。主要研究方向包括語言測試和外語教育。曾主持*社科重大攻關項目、國家社科、*人文社會科學重點研究基地重大研究項目等多項科研項目。

該書出版助於該學科和領域的學習者和興趣者尤其是大學生和研究生作為學習和研究的參考。可以更有效地積聚全國外國語言文學的研究力量和資源，融合語言文學的研究力量和資源，調動各相關學術團體的學術研究與合作交流的積極性和創造性，為外國語言文學一流學科建設添磚加瓦。

2014 年國務院頒布的《關於深化測試招生制度改革的實施意見》指出，要科學設計命題內容，測試的成績要真實可信。這些強調的都是測試的效度。其實，在測試的開發、實施過程中，人們為關心的問題就是測試的信度和效度，如今效度也逐漸成為語言測試研究中為基本的概念之一。效度的概念和理論從20 世紀20 年代產生起至今也經歷了各種演變。國內外有關效度和效度理論的研究論文不少，但系統介紹語言測試效度理論的專著卻頗為不足。國外類似的專著也大都是論文集，而國內目前還沒有一本系統介紹語言測試效度及其理論，尤其是21 世紀語言測試效度理論發展的專著，這也是我們撰寫此書的緣由。
本書對20 世紀的效度理論，包括一些極為重要的效度理論，例如Messick 的整體效度理論，只作簡單介紹，而主要詳細介紹21 世紀效度理論和效度驗證方法的新發展。本書第1 章為緒論，首先對效度的定義以及發展進行闡述和介紹；然後回顧20 世紀效度理論的發展，尤其是《教育與心理測試標準》的各個版本對效度的界定以及對語言測試研究和實踐的影響；接著對21 世紀語言測評效度理論的新發展進行概述。第2 章對語言測評效度理論近20 年（2000—2019），尤其是近10 年的核心語言測評效度理論進行更加詳細的介紹，主要包括基於論證的效度框架、Cizek 的修訂框架、Hubley & Zumbo 的修訂框架、社會認知效度框架、基於證據的效度驗證、行動理論視角下面向改革的測試效度框架、公平效度框架、評價使用論證框架等。
效度理論的發展伴隨著現代信息技術的發展。研究效度的方法也與信息技術發展有很大關係，心理和教育測量的統計方法以及測量工具的發展和現代化都為效度理論發展提供了堅實的基礎。本書第3 章主要對近10 年來語言測評效度驗證的主要方法（包括統計方法）進行詳細介紹。該章首先介紹了針對測試分數解釋和使用各推理環節（包括評分、概化、解釋、外推、使用和影響）的效度驗證方法；然後介紹了效度驗證中的一些主要統計方法，例如概化理論、Rasch 分析、因子分析、回歸分析、結構方程建模、項目功能差異分析等；後針對現代信息技術在效度驗證中的使用作了介紹，包括認知診斷測試、決策樹和眼動技術的應用。
如何在實際情況中開展測試的效度驗證？如何將目前主流的效度理論運用在實際的測試效度驗證中？在何種情況下使用哪種統計方法和技術手段？這些都是研究者關心的問題。本書第4 章便介紹了一些較為典型的語言測評效度驗證實例，涵蓋整體效度驗證以及專門針對評分、概化、解釋、外推、使用和影響各推理環節的效度論證。在呈現每項實例時，我們從研究背景、研究問題、研究方法、研究結果等方面進行介紹，並在結尾對該研究實例進行簡短點評。
後，第5 章對21 世紀語言測評效度理論的學術觀點和發展，以及未來語言測試人員可能會關注的一些熱點問題進行闡述，包括測試的公平性、測試的社會效度、形成性評價的效度以及語言能力量表的效度。
本書第1、5 章由劉建達撰寫，第2 章由賀滿足撰寫，第3 章由劉曉華撰寫，第4 章由三位作者共同完成，後由劉建達統稿。本書適合廣大語言測試與評價研究人員和相關領域碩、博研究生閱讀。
在本書撰寫過程中得到來自各方的協助。感謝中國英漢語比較研究會策劃此系列叢書，感謝清華大學出版社的大力支持，感謝審稿專家的真知灼見。
限於時間和能力，本書仍有諸多不足之處，懇請廣大讀者批評指正。
劉建達
2020 年12 月
於廣東外語外貿大學外國語言學及應用語言學研究中心

第1 章 緒論 1
1.1 效度的定義 2
1.1.1 效度定義的發展 2
1.1.2 有關效度定義的爭議 4
1.2 20 世紀語言測評效度理論的主要發展 8
1.3 21 世紀語言測評效度理論的新發展 11
1.4 本書的結構安排 17
第2 章 21 世紀語言測試效度理論發展 19
2.1 基於論證的效度模型 19
2.1.1 基於論證的效度模型的提出 19
2.1.2 基於論證的效度模型的推論形式 20
2.1.3 基於論證的效度模型的主要內容 22
2.1.4 對基於論證的效度模型的評價 26
2.2 Cizek 的修訂框架 27
2.2.1 Cizek 修訂框架的提出 27
2.2.2 Cizek 修訂框架的內容 27
2.2.3 對Cizek 的修訂框架的評價 32
2.3 Hubley & Zumbo 的修訂框架 33
2.3.1 Hubley & Zumbo 修訂框架的提出 33
2.3.2 Hubley & Zumbo 修訂框架的內容 35
2.3.3 Hubley & Zumbo 修訂框架的應用範圍 38
2.3.4 對Hubley & Zumbo 修訂框架的評價 40
2.4 社會認知效度框架 40
2.4.1 基於證據的效度驗證框架的提出 40
2.4.2 基於證據的效度驗證框架的架構 41
2.4.3 對Weir 的社會認知效度驗證框架的評價 48
2.5 行動理論視角下面向改革的測試效度框架 49
2.5.1 面向測試改革的效度驗證框架的提出 49
2.5.2 測試後果與效度 50
2.5.3 面向測試改革的效度驗證框架的主要內容 54
2.5.4 對面向測試改革的效度驗證框架的評價 57
2.6 公平效度框架 57
2.6.1 公平性研究的簡要回顧 57
2.6.2 不同的公平性檢驗框架 58
2.6.3 小結 67
2.7 評價使用論證框架 68
2.7.1 評價使用論證框架的提出 68
2.7.2 語言測試開發與使用流程 69
2.7.3 AUA 的結構框架 71
2.7.4 構建AUA 76
2.7.5 責任劃分 79
2.7.6 測評的公平性 82
2.7.7 對AUA 框架的評價 83
2.8 總結 84
第3 章 效度驗證方法 85
3.1 效度驗證的各個層面 85
3.1.1 評分 85
3.1.2 概化 90
3.1.3 解釋 93
3.1.4 外推 102
3.1.5 使用 107
3.1.6 影響 111
3.2 效度驗證中主要的統計方法 116
3.2.1 概化理論分析 116
3.2.2 Rasch 分析 118
3.2.3 因子分析 122
3.2.4 回歸分析、路徑分析和結構方程建模 124
3.2.5 項目功能差異分析 126
3.3 現代技術在效度驗證中的應用 129
3.3.1 認知診斷測試 129
3.3.2 決策樹 132
3.3.3 眼動技術 133
3.4 總結 136
第4 章 效度驗證實例分析 137
4.1 整體效度驗證實例分析 137
4.2 分數解釋與使用各環節效度驗證實例分析 143
4.2.1 評分 143
4.2.2 概化 148
4.2.3 解釋 152
4.2.4 外推 156
4.2.5 使用 161
4.2.6 影響 166
4.3 大規模、高風險測試的反撥作用研究 171
4.4 總結 175
第5 章 新時代語言測評效度理論及研究展望 177
5.1 測試的公平性 177
5.2 測試的社會效度 179
5.3 形成性評價的效度 183
5.4 語言能力量表的效度 195
5.5 總結 199
參考文獻 201
術語表 233