協作問題解決能力的測評（簡體書）

協作問題解決能力是個體應對21世紀科技、經濟和社會變化的核心素養，涵蓋了批判性思維、創造性、溝通與交流、團隊協作等21世紀技能的內容。如何科學合理地測評協作問題解決能力是當前研究的國際難題。
本書系統詳盡地闡釋了協作問題解決能力的測評方法，具體包括協作問題解決能力的概念框架，基於現代信息技術的互動式測評任務開發，過程性數據的編碼和評分，測評任務的測量分析與標定，基於學習進階的結果解釋和反饋等。本書還以改進21世紀技能教學的發展性測評為框架，描述了協作問題解決能力的測評和教學在六個國家的實施情況。本書內容有助於提高我國21世紀技能的測評質量，為我國教育管理人員、教研員和廣大教師更好地理解21世紀技能的測評和教學提供了重要研究基礎。

楊向東，華東師範大學教育學部教育心理系主任、教授、博士生導師。中國教育學會學術委員會委員，上海心理學會教育心理學專委會主任委員，教育部基礎教育課程教材專家工作委員會成員，上海市教育考試與評價指導委員會委員，2014年普通高中課程標準修訂綜合組專家成員。2003年獲得美國堪薩斯大學量化心理學博士，曾任堪薩斯大學教育測量與評價中心研究員、美國印地安納大學布魯明頓分校教育心理學系助理教授等職。2008年作為人才引進回國。主持包括國家自然科學基金面上項目在內的科研項目10餘項，出版學術專著《理論驅動的心理與教育測量學》1部，編寫或主編《課堂評價：促進學生的學習和發展》《學校教育指標系統的構建》《普通高中課程標準(2017年版)教師指導叢書》等著作，發表中英文學術論文70餘篇。主要研究領域為心理與教育測量、認知項目設計、核心素養及21世紀技能的教學與評價等。

1.翻譯權威：華東師範大學教育學部教育心理系主任、教授、博士生導師楊向東主譯。
2.內容豐富：涵蓋批判性思維、創造性、溝通與交流、團隊協作等21世紀技能的內容，具有極強的啟發性。
3.方法科學：研究扎實、方法科學、邏輯嚴密、表述清晰，詳細描述了協作問題解決能力的測評和教學在六個國家的實施情況。
4.直觀呈現：100多張圖、表直觀展現數據和分析，一目了然，方便閱讀。

序
“核心素養與21世紀技能”譯叢譯者序
1997年，世界經濟合作與發展組織（OECD）啟動了“素養的界定和選擇”（Definition and Selection of Competencies，DeSeCo）項目（OECD，2005）。該項目旨在研究面向21世紀的個體應該具備的核心素養，提供界定和選擇這些核心素養的理論依據，以回應日益複雜的時代變化和加速度的科技革新給個人生活與社會發展所提出的種種挑戰。
自DeSeCo項目發起之後，核心素養迅速成為世界各個國家、地區和國際組織界定和思考21世紀學校教育與學生學習質量的基本概念。培養學生具有適應21世紀社會需求、促進終身學習和發展的核心素養，成為基礎教育改革和發展的國際最新趨勢。根據全球化和信息化時代生存和發展的要求，許多發達國家和國際組織紛紛提出了各自的核心素養框架，其中比較有影響力的包括歐盟提出的終身學習核心素養共同框架（European Commission，2006，2012），美國21世紀技能聯盟提出的21世紀學生學習結果及其支持系統（US partnership for 21st century skills，2014），以及思科（Cisco）、英特爾（Intel）和微軟（Microsoft）三大信息技術公司發起的21世紀技能教學和測評項目（Griffin et al，2012）。
這些框架無一例外都關注創新、批判性思維、溝通交流和團隊合作能力，強調個體的核心素養需要在數字化和信息化環境下展開，重視在全球化條件下和多元異質社會中培養主動參與和積極貢獻的意識、能力和責任感。這種相似性並非偶然，集中反映了全球化和數字化時代對公民素養的共同要求。自上世紀60年代以來，數字化技術的迅猛發展導致全球經濟模式、產業結構和社會生活持續發生根本性的變化。新的世紀進入人工智能時代，經濟模式以創新為主要驅動力。越來越多的工作類型要求參與者適應充斥著高新技術的工作環境，能夠對複雜陌生的問題做出靈活反應，能夠有效溝通和使用各種資源、技術和工具，能夠在團隊中創新，持續生成新信息、知識或產品。現代社會變化加速，工作和生活流動性增加，需要人們能夠學會學習和終身學習，儘快適應新的環境和不斷變化的生活節奏及性質。
顯然，濫觴于本世紀初的這場運動從一開始就帶有濃濃的社會適應的味道，雖然這種適應不可避免地帶有促進個體發展的意蘊。所謂的核心素養，就是個體適應日益複雜多變的21世紀社會需求所需要的關鍵性和根本性的品質。在這個意義上，核心素養與21世紀技能在內涵上是互通的，指向新世紀個體的可持續發展與社會的良好運作。按照OECD的說法，21世紀的核心素養需要滿足三個條件：（1）要產生對社會和個體有價值的結果；（2）幫助個體在多樣化情境中滿足重要需要；（3）不僅對具體領域的專家而言是重要的，對所有人都是重要的（OECD，2005）。在內涵上，核心素養超越了對具體（學科）領域知識或技能的理解與掌握，更強調整合性、現實性和可遷移性。按照OECD的說法，素養“不僅僅是知識與技能。它包括在特定情境中個體調動和利用種種心理社會資源，以滿足複雜需要的能力”。所調動和利用的心理社會資源“包含各種知識、技能、態度和價值觀（OECD，2005，P4）”。它是個體整合上述資源，應對或解決各種複雜陌生的現實問題的綜合性品質。
這對既有的教育理念和方式提出了巨大的挑戰，也產生了深遠的影響。以21世紀的核心素養為育人目標，讓教育者更加關注如何搭建學校教育、兒童生活與未來社會的橋樑，而不僅僅將視野局限在學科內容、教學要求和考試大綱等方面。利用核心素養模型來闡述教育總體目標，不僅使育人形象更為清晰，也對學校教育提出了超越學科知識和技能的育人要求，強調對高階、整合和可遷移的綜合品質的培養。素養導向的學校教育指向更為廣義的課程觀，蘊含了一種以人為本的泛在育人環境的構建。以學生的核心素養發展為主軸，通過各種整合性的現實情境和真實性任務，實現各教育階段的螺旋上升和各學科課程之間的統整。在學習方式上，通過問題式或項目式學習，讓學生解決體驗複雜的、不確定性的真實性問題，模仿或參與各種真實性社會實踐，發展批判性和創造性思維，學會溝通交流和團隊協作，在經歷對知識和理解的社會性建構過程中實現自我成長與社會適應的統一。毋庸置疑，這樣一種教育模式對學校的教學管理、資源配置、考試評估及教師專業發展等方面都提出了諸多挑戰和要求。學校需要從素養培養的現實需求出發進行資源配置，按照新型學習方式開展日常教學管理，構建以核心素養為實質內涵的質量話語體系和評價機制，賦予教師更加充分的專業自主權和靈活性。這一過程顯然是長期而艱巨的。正如那句英語諺語所說的，“It takes a village to raise a child”（養孩子需要全村協力），沒有整個教育系統的轉型，素養導向的教育變革難以真正實現。
與國際教育改革和發展的趨勢相一致，我國以普通高中課程標準的修訂為契機，開啟了以核心素養為綱的基礎教育課程改革。2018年1月，歷時四年修訂的普通高中課程標準正式頒佈。以核心素養的培養為主線，新修訂的課程標準在教育目標、課程育人價值、課程結構、內容組織、學業質量標準、學習和教學方式、考試評價等一系列領域均取得了重要突破，為我國基礎教育課程改革的進一步深化提供了理論基礎和政策前提。如何在此基礎上，系統反思我國原有教育教學觀念和體系的弊端與不足，結合我國教育實際，開展系統深入的素養教育理論和實踐研究，開發促進學生核心素養發展的課程體系、學習方式和評價機制，實現學校育人模式和管理機制的轉型，是擺在我國教育理論工作者和實踐人員面前的迫切任務。
出於以上思考，我們選編、翻譯和出版了這套“核心素養與21世紀技能”譯叢。考慮到國內推進基礎教育課程改革的現實需求，本套叢書聚焦于以核心素養或21世紀技能為指向的理論、研究和實踐的整合，關注當前基礎教育的重大議題。所選書目在主題和內容上包括：（1）基於國情構建核心素養體系的探索；（2）21世紀學習機制和理論框架的研究；（3）核心素養理念指導下課程與教學改革的可行路徑；（4）21世紀技能測評的方法與技術；（5）促進學生核心素養發展的學校和社區教育環境的建設等。對相關主題的闡述既有理論的視角，也有便於參考和借鑒的思維框架、研究或實施路徑，以及源于教育現實的真實案例或課堂實錄。本套書適合致力於推進我國基於核心素養的課程、教學、評價以及學校管理的廣大教育研究人員和實踐工作者閱讀和使用。我們希望通過這套叢書為大家提供有用的資源，改善大家對核心素養的理解，促進課程、教學和評價等領域轉型，為推進我國基礎教育課程改革提供富有價值的支持。
本套譯叢是集體合作的成果。參與譯叢翻譯工作的大都是從事我國基礎教育研究工作的中青年學者，具有良好的教育背景和科研素養。為了統一不同書中的專業術語，保障譯叢翻譯稿件質量，每本書的譯者先對附錄中的專業詞匯進行了翻譯，然後在整套譯叢層面上進行了匯總，並在討論基礎上盡可能進行了統一處理。翻譯是一項既有很強專業性，又富有藝術性的工作。翻譯過程既細緻而又漫長。在此向參與譯叢翻譯的各位譯者的辛勤付出表示衷心的感謝。譯叢中不同原著已然風格不一，不同譯者又有著自己的理解和語言風格，希望讀者能夠理解並給以諒解。華東師範大學出版社的龔海燕副社長對本套譯叢非常關心，在譯叢版權方面做了大量富有成效的工作，在此一併表示衷心的感謝。
楊向東
前言

本書是關於21世紀技能的界定、發展、測量和教學系列叢書的第二卷。卷一是一本白皮書合集，為21世紀技能的評估與教學（ATC21S）項目構建了一個概念基礎。本卷探討了項目開發和實施工作背後的方法論。項目團隊龐大，成員來自六個國家。卷三將會是一本論文報告集，報告有關21世紀技能評估的信度、效度和應用的實證研究。

這本書的目的是厘清21世紀技能的評估與教學的程序和方法、思想和策略、數據和分析，以便讀者可以理解並實際應用這個項目的理論。我們也鼓勵其他研究人員和測量專家對我們的方法論提出挑戰和建議，但最重要的是，希望這些研究人員和專家幫助教師改進學生對這些重要的21世紀技能的學習。

形成性評價的概念一直以來都是ATC21S項目的核心，目的是提供給教師充足的教學信息和資源，以確保幫助學生建立和發展21世紀技能。形成性評價是為教師提供信息的評價。我們有時使用“資料性評估”這一術語，是為了確保評估所生成的數據可以為教師所用，以此來確定學生是否做好了學習的準備。更重要的是，我們希望教師使用數據來改變自己的教學方式，促進學生的成長和發展。這一點使得該項目有別於其他絕大多數關注21世紀技能的大型項目。

ATC21S項目（wwwatc21sorg）的首要目標是界定21世紀技能，將其視為在本世紀接受教育和適應工作必不可少的技能。這些技能的一個主要特點是涉及對信息的需要、操作和使用。項目主張所確定的技能不必都是新的，而是必須滲透在當今世界的教育和就業中，以使個體能夠作為學生、工作者和公民有效發揮價值。由於全球技術快速變化，所以這些21世紀技能中的一些特定技能是新的，而其他的一些傳統的技能可以在實施時做一些調整。賓克利等人（2012）以四個方面為主題描述了知識經濟最近發生的變化：思維方式、工作方式、工作工具和在世生活。協作式問題解決集中體現了ATC21S項目框架中的批判性思維、問題解決、溝通和協作（Griffin et al2012）。第二個要開發的領域，數字網絡化學習（LDN-ICT），將在第3章中介紹，並將在後續出版的書中詳細闡述。

儘管這些主題是過程導向的，在ATC21S項目中，通過強調學科知識和理解，這些過程所涉及的實質內容也得到認可和重視。活動過程是在實際應用中展現的：雖然人們通常能認識到批判性思維和問題解決等技能的重要性，但是這些技能往往不在教學內容中。因此教育項目需要把技能的發展融入到學習內容之中。我們用“發展”這個詞，是因為我們通過一種發展的方式，即素養不斷提升的階段，來描述學生的進步過程。21世紀技能的界定、描述、評估和教學實踐對我們的教學模式提出了新的挑戰。語言素養和數學素養被視為語言和數學教學的要求，ICT技能和問題解決能力也同樣應被視為學生必須具備的技能。在ATC21S項目中，評估任務的開發基於這樣一個觀點：雖然技能可能是通用的，但它們的效用需要通過學生在課程研究中形成和使用來實現。

在這個項目中，21世紀技能被定義為這樣的活動：小組執行一系列步驟，將當前狀態轉變為期望的目標狀態，或是在一系列認知狀態中轉換，從分析信息到檢驗假設。在給協作式問題解決下定義時，海塞、凱爾、布德爾、薩森貝格和格裡芬（2015，本書中）分別從社交和認知兩個方面進行了描述。解決一個問題可能需要各種各樣的內容知識，以及不同的策略、資源或技能，並不是所有方面都為一個人所具備。當任務達到這種複雜水平時，認清問題或目標本身可能就存在諸多挑戰，不管是小組處理問題的方式，還是個體在解決問題時對不同過程的選擇。2015年，經濟合作與發展組織（OECD）選擇使用人類和計算機之間的互動（人機互動，或H2A）作為教育測量的一種手段，而ATC21S的項目成員格裡芬和凱爾（2015）則選擇在一種技術媒介中使用人與人之間的互動（人人互動，或H2H）。這些方法的效果與效度仍需驗證。本卷不參與關於評估任務呈現媒介的爭論，關注的是ATC21S項目的方法論。在卷三中，我們會進一步討論ATC21S任務呈現的媒介和各種代理或腳本在一個協作環境中的角色。

本書和書中研究項目的設置來自我們對教育正在發生的變化的認識。教育需要培養學生應對就業和學習方式快速變化的能力。教師需要幫助學生為未來的工作做好準備，未來還會有如今尚未發明的技術和尚未出現的生活、思考和學習方式，這些都需要學生帶著更符合數字信息時代的技能、態度和價值觀從學校畢業。現在的教育要培養學生新的思維方式，包括：創造性、批判分析、問題解決和決策。還要培養學生需要溝通與協作技能的新的工作方式。他們還需要熟練使用新工具，包括識別和發展新技術的潛力。除此之外，他們還需要學習作為積極且負責任的世界公民如何在這多元的新世界中生活。

學生可能進入的職業會越來越需要批判性和專家型思維技能以及複雜的溝通形式。對大多數國家來說，根據這種新型的勞動力需求來培養畢業生是一個很大的經濟問題。那些希望在未來的勞動力市場中獲得高回報的人要善於通過和其他人交流來獲取信息，理解信息的含義並說服別人應用於行動中。但這並不意味著計算和讀寫基礎技能就變得無關緊要了。儘管計算和讀寫的新形式終要出現，但一個人和數據打交道以及從一堆資源中獲取、解釋和使用信息的能力將永遠是重要的。在一個技術資源豐富的環境中，解決問題的能力會變得越來越重要，溝通、協作和創造能力也是如此。隨著全球化的世界變得愈加複雜，以及出現了越來越多的跨國合作，個人需要跨越這些國界，在共享信息和新興知識上進行協作。世界變得越複雜，就會有越多的人需要這些技能。人們可以搜索和訪問的內容越多，篩選和解釋的能力就越重要――他們需要通過識別問題的組成部分，並用對自己和他人都有意義的方式把各部分聯繫起來，以構建問題的解決方案。到了21世紀，追求穩定工作30年或40年的想法已經消失，學生離開中學或大學之後，更有可能在自己的職業生涯中擁有10～15個不同的工作。為了成功地進入新的勞動力市場，他們需要有新的理解廣度和深度，需要有學習和再學習的能力。在他們的職業生涯中，他們不會成為某一個領域的大師，而會擁有許多領域的學習和適應能力。

出於以上原因，ATC21S項目的重要性再怎麼強調也不為過。我們希望本書能夠幫助學者、政策制定者、教師、家長和實業家，使其雇員、學生、朋友和同事更成功地適應在新的數字世界中的工作和生活。

本書分為五個部分，共15章。第一部分是項目的概述，包含第1章，概述了項目的方法論和性質。這一章詳細描述了項目所使用的方法，聚焦協作式問題解決任務的開發和標定。方法非常重要，為了使其他人能夠重複我們所做的工作並加以改進，這個項目中所做的一切都是公開透明的。

第二部分是項目的概念性質和衍生的測評指標，包含第2章和第3章。在這一部分我們定義了選擇開發的21世紀技能的基本概念。第2章提出了協作式問題解決的概念框架，第3章描述了通過概念和實證數據建構的數字網絡化學習。

第三部分涉及開發協作式問題解決評估任務的技術問題，包含了一系列章節，描述了項目所運用的施測和解釋機制。第5章將介紹項目需要開發的平臺，以使協作能夠在互聯網上進行。第6章闡述了對日誌流數據的自動編碼和解釋，這是項目的一個創新點。通過這樣的編碼和分析得到的數據，可以用項目反應理論來處理數據，可做更複雜的工作。第7章解釋並記錄了這些在每個任務中是怎樣操作的。

第四部分為任務開發過程的田野研究。這部分的章節討論了六個參與國所實施的工作。第8章關於澳大利亞，第9章關於新加坡，第10章關於芬蘭，第11章關於美國，第12章關於哥斯達黎加，第13章關於荷蘭。每個國家所採用的方法略有不同，放在一起比較，就反映出同樣的核心過程也是隨著不同國家的不同需求和當務之急而有所不同。
第五部分闡述了項目對課堂和系統層面出現的教育問題的啟示。第14章就項目的工作可以如何在課堂上使用提出了建議，第15章描述了可以幫助司法和教育系統擴大這一項目規模的程序。

這本書的目標讀者主要有以下人群。首先，是測量人員：希望我們在這個項目中所介紹和遵循的測量程序，能夠讓其他人對我們所使用的程序和分析做出改善、精簡和批判。我們的程序緊隨威爾遜等人在卷一中所撰寫的章節。第6章中描述的評分程序包含非常複雜的過程，我們希望有人能有辦法簡化這個過程。本卷的作者是墨爾本大學團隊的成員，他們也會在不久的將來開始為提供模板以及簡化編碼與評分程序而努力。我們希望這些在卷三中能夠有所體現。

其次，包括政策制定者、教育部長、常務秘書、課堂教師和研究生等。最後，本書是關於記錄程序和數據的，事關這些方面的公開透明。自項目啟動以來，爭議一直存在，事關21世紀技能，比如協作式問題解決如何以測評的形式呈現給學生，這些爭議未在本書中提及。本卷作者在以下觀點上是一致的：協作是人與人的互動，人與計算機的互動不算協作。

該項目有幾個創新點，本卷將詳細說明。
1大部分關於團隊合作的研究，關注的是整個團隊的結果。他們對個人的評估一般是獨立於協作任務，從外部進行的。這種方法無法根據個人在任務中的表現來評估他們的相應技能――缺少分析協作中的互動機會或過程。本書試圖解決這一問題，展示如何測量個體在協作中的努力。
2在21世紀測評中使用教育技術，導致計算機能夠提供捕捉協作者的活動，獲取帶有時間戳的詳細數據。這些活動的日誌提供了日誌流和聊天流的數據，用於對學生活動進行建模分析和評價。
3研究聚焦於用不同尋常和很少實施過的方式來進行評估，因此，ATC21S項目開創了H2H評估途徑。
4研究關注在歸納-演繹的範式中問題解決的發展。本卷探討了協作的環境是如何支持這種層級，以及在兩個不同的課程領域中對假設-演繹推理技能的教學啟示。
5本卷所呈現的大量工作既包括實用性的，也包括概念性的。有關混合能力組協作、角色分配等的效果的討論，以及對這些問題進行實證調查的呼籲，為這個項目奠定了重要基礎。我們希望這些挑戰能夠得到解決，希望如今處於最前沿的21世紀評估會在未來走得更遠。

帕特裡克·格裡芬寫於澳大利亞的帕克維爾

如何評估數字化學習
ATC21S的評估觀基於這樣一種信念：相對於全球工作環境而言，目前的學校教學過時了。例如，思科、英特爾以及微軟（2008）三大公司就將學生標準化評估的典型情境與校外的工作情境進行了對比。首先，在學校，學生單獨接受測驗，但在校外，人們既單獨工作，也與他人合作，技能互相補充，實現共同目標。學校教學與現實工作環境的第二個差異來自這些測驗科目的性質本身：當今學校的科目是根據學科邊界來劃分的，然而在工作環境中，學科知識的應用在解決真實問題時卻是跨學科的。而且，這些問題不是通過簡單的回憶事實或運用簡單的程序就可以解決的，是複雜和結構不良的，有著特定的具體情境。其次，傳統的“閉卷”測驗情境不同於人們可以獲得大量信息與技術工具的情境，在後面這種情境中，面臨的挑戰是如何有策略地組織解決方案（CIM 2008）。

ATC21S項目通過一系列白皮書來幫助實施這項工作（已出版，Griffin et al2012）。對本章來說，其中最重要的是“技能篇”（Binkley et al2012）和“方法論篇”（Wilson et al2012）。白皮書的第一篇提出了一個框架，指導和理解這些“新”技能的本質，以及它們與傳統學校科目的聯繫。該框架被稱為“KSAVE”，即知識、技能與態度、價值觀與倫理。以該框架為基礎，兩個特別的21世紀技能被選入ATC21S評估項目――協作式問題解決與數字網絡化學習―信息與通信技術（LDN-ICT）。後者是本章的關注焦點，下文會對此詳細闡述。白皮書第二篇基於美國國家研究委員會一個開創性報告中的觀點，提出了開發新評估工具的方法。該方法被稱為BEAR評估系統（BAS：Wilson 2005，2009a；Wilson and Sloane 2000）。本章不會細述該系統，僅列出該系統的如下四項原則：

原則1：評估必須以發展的眼光來看待學生的學習；基本成分（building block）是一個進步變量的建構地圖（construct map），能將學生的發展以及我們對學生在項目反應中表現出來的可能變化的思考進行可視化。
原則2：教學和評估必須保持一致；基本成分是項目設計。項目設計描述了項目類型最重要的特徵――其核心議題是項目設計所引發的反應如何與建構地圖的水平聯繫起來。
原則3：教師必須是該系統的管理者，能有效使用該系統的工具；基本成分是結果空間，即學生回答的分類集，能讓老師理解。
原則4：利用證據表明質量，如信度、效度研究和公平性；基本成分是測量模型，用於處理多維項目反應，建立包括組內和組間縱向數據跨時間的聯結。（Wilson 2009b）

下文將舉例說明這些原則是如何滲透在評估開發的過程與結果中的。