ATC21S项目中“协作问题解决”能力测试的指标、任务及启示

奥鹏网院作业

ATC21S项目中“协作问题解决”能力测试的指标、任务及启示

摘要：“协作问题解决”（Collaborative problem solving，简称CPS）能力是21世纪人才所应必备的能力，ATC21S项目组分别从社会技能和认知技能两个维度去理解“协作问题解决（CPS）”能力的内涵、测试框架和指标等，并且该项目组开发出了两套测试任务来对学生的“协作问题解决能力”进行测量。对“协作问题解决（CPS）”能力测试框架、指标和测试任务的正确理解，有助于当下学生“核心素养”的培养。
关键词：ATC21S；CPS；协作；问题解决
“21世纪能力的教学与评价项目”（Assessment and Teaching of 21st Century Skills Project，简称ATC21S）是由澳大利亚墨尔本大学评价研究中心领导的跨国研究项目，主要参与国家有澳大利亚、美国、新加坡、荷兰、芬兰、哥斯达黎加，此外该项目还得到英特尔、微软、思科三家大型科技企业的资助。ATC21S项目组将21世纪能力分为思维方式、学习工具、工作方式、生活方式四个方面的十项能力指标，在此基础上，对每一项能力都从知识（Knowledge）、能力（Skills）、态度（Attitudes）、价值观（Values）和道德观念（Ethics）等角度进行描述，也称为KSAVE 模型。ATC21S项目将批判性思维、问题解决能力、决策能力和协作能力合并为一个复杂的能力，即“协作问题解决”（Collaborative Problem Solving，简称CPS）能力。[1]那么要明确协作问题解决能力，就要知道什么是“协作问题解决”能力，如何测量，以及通过什么手段去测量等问题。
一、“协作问题解决”能力的内涵
“协作问题解决”（Collaborative Problem Solving）能力是一种同时包含社会技能（协作技能）和认知技能（问题解决）的高阶能力。“协作”是指小组成员通过共同策划，彼此之间建立联系（每个成员的成果都建立在彼此所做贡献的基础之上）完成一项学习任务。“问题解决”指学生进行一项活动时，现状和理想目标状态间存在距离，并且没有明显的、或可遵循的方法跨越这种距离，从而试图基于现状寻找办法达到目标状态。[2]基于上述概念，ATC21S将“协作问题解决”能力定义为在一个共同的活动中，小组成员通过执行一系列步骤，完成从现实状态到理想目标状态的活动过程。[3]“协作”和“问题解决”技能与交流、记忆、理解等简单技能相比，属于结构复杂的高阶技能，与一般教育和心理测量领域中的大部分认知能力和心理特质一样，都属于学生个体的潜在特质，不能被直接地观察和测量。[4]为了测量学生的“协作问题解决”能力，ATC21S项目组构建了基于协作问题解决能力的测试框架，同时制定了相应的测试指标。并且开发出了用以测试学生“协作问题解决”能力的测试任务。
二、“协作问题解决”能力的测试框架及测试指标
（一） “协作问题解决”能力的测试框架
ATC21S定义的“协作问题解决”能力测试框架如表1所示，[5]“协作问题解决”能力由社会技能（协作）和认知技能（问题解决）两个部分构成。社会技能主要体现为对参与者的管理，包括参与、观点采择、社交管理三个部分。认知技能主要体现为对任务的管理，包括任务管理、知识建构两个部分。
表1 ATC21S协作问题解决测试框架

（二） “协作问题解决”能力的测试指标
为了更好地评价学生是否具备协作问题解决能力，不仅要有协作问题解决的测试框架，还要有相应的测试指标。为此，ATC21S项目组对协作问题解决的两个构成要素（协作和问题解决）进行了详细的分析，并且针对“协作”和“问题解决”两个要素拟定了相应的测试指标，因此，学生的协作问题解决能力水平的高低可以通过相应的测试指标去衡量。
1.社会技能的测试指标
社会技能主要体现为对参与者的管理，包括参与、观点采择、社交管理三个部分。参与技能描述了协作交互的最低要求。是指个人愿意分享信息和思想并参与解决问题的阶段。在参与技能范围内，制定的技能指标进一步区分了三个方面：行动、互动和任务完成。“行动”是指个人的一般参与程度。“互动”是指表现出与他人的互动和反应的行为。“任务完成”指的是参与的动机方面，可以很好地预测个体的学习结果，并能进行下一步的学习。观点采择技能包括回应和受众意识。回应：当问题解决者设法将协作者的贡献整合到自己的思想和行动中时，回应技能就相应地呈现出来了。受众意识：根据协作者的需要，问题解决者调整自己的想法，让他人更容易理解。社交管理技能：主要分为自我审视、交互记忆、谈判和主动性。前两个方面指的是识别群体多样性的能力，这种差异可以分解为评估自己知识，以及评估协作者的知识、长处和弱点的能力。当群体成员之间出现冲突时，谈判技巧就变得十分重要。主动性是问题解决者们为团队的进步所经历的责任。如果这些不同的社会管理技能在一个群体中显而易见，那么协作解决问题活动的协调就变得容易得多，而且群体成员之间的潜在多样性将得到非常有益的利用。[6]
表2 社会技能测试指标

2.认知技能测试指标
认知技能指的是问题解决者如何处理手头的任务所采取的推理技能。主要包括任务管理技能和知识建构技能。任务管理技能主要从规划能力、执行能力和变通能力三方面体现。规划能力指基于解决问题的可能步骤做出决策的能力；变通能力指在解决问题过程中，面临极具挑战性问题时所表现出的创造力，以及处理模糊情况的能力；执行与监控能力具有反思的特征，指考虑所计划或执行的方案的合理性。知识构建技能主要体现的是学习者（问题解决者）的学习能力。[7]
表3 认知技能测试指标

三、“协作问题解决”能力的测试任务
要衡量学生的协作问题解决能力，要在相应的测试框架和测试指标下，开发出能够测量学生协作问题解决能力的测试任务。为了测量学生的“协作问题解决”能力，ATC21S项目组组建了专家组、教师组和学生组三个团队。专家组开发出能够测量学生CPS能力的测试任务，该测试任务要基于已开发出的测试框架，并且要确保该任务是可教的、可测量的，适用于大规模的实施；教师组要对专家组所开发出的任务结合学生的现有水平进行预判断，判断这些任务是否合理，是否基于学生之间的团队协作来完成以及是否满足学生的最近发展区；目标学生组是指参与前测的学生，主要用来判断这些开发出的任务是否适合大规模测试。[8]
（一）测试任务的类型
ATC21S项目组开发出了两种测试任务，分别是与学科无关的任务和与学科有关的任务。其一，与学科无关的任务，解决此类任务不需要任何必要的专业知识，解决此类任务主要依赖于推理应用。其二，与学科相关的任务，解决此类任务，不仅需要推理能力，还需要具备一定的学科背景知识。
这两种任务都需要经过（任务概念检查、认知实验室、试点研究和现场试验）四个阶段来调试。阶段一，概念检查阶段是教师对任务的审核，判断专家组所开发的任务是否适合学生；阶段二，认知实验室阶段相当于将开发出的任务进行小规模试测，参与者包括教师和学生，教师观察学生完成任务的情况，从而通过双方来判断任务的有效性；阶段三，试点研究阶段，每个参加ATC21S的国家（澳大利亚、新加坡、芬兰、美国、哥斯达黎加、荷兰）都要求全班学生（最多30人）进行评估系统的试点工作。将经过试测的任务在课堂中进行教授，研究人员记录教师在课堂上实施在线评估课程的过程表现，并收集整个班级学生的测试数据，目的是判断这个任务是否能够在课堂教授；阶段四，现场试验阶段，各个国家对项目组所修正的任务进行现场测试，参加测验的学生在能力水平上是均匀分布的，目的是为了更容易开发出任务的评分标准。也是为了开发出适合本土化的任务做准备。下面通过两个具体的任务实例，来分析每个任务是如何突出CPS框架中的技能的。[9]
（二）测试任务举例（与学科无关的测试任务——橄榄油任务）
任务目标：要解决的问题或要达成的目标是用4升橄榄油填充学生B的罐子。

图1 橄榄油任务
任务描述：在图1的任务中，学生们会在各自的电脑上看到不同的信息。上半部分为学生A所观察到的信息，学生A有一个3升的罐子，一个橄榄油容器，一个入口管和一个桶。下半部分为学生B所观察到的信息，学生B有一个5升罐子，一个出口管和一个桶。
任务解析：在这个橄榄油任务中，两名学生被分配到不同的信息资源，为了完成任务目标，即用4升橄榄油填充学生B的罐子。学生A和学生B必须进行沟通，并根据自己所拥有的任务资源信息，一起制定出解决问题的方案。学生A有一个虚拟的三升罐，橄榄油分油器，输送入口管和桶。学生B有一个虚拟的5升罐，输送出口管和桶。在不知道对方可以使用什么的情况下，双方需要认识到，学生A必须将他的罐子装在容器上，并将其放置在“入口”管道下面，这样学生B才能接受来自“出口”管道的油。在此之前，学生B无法完成任何有意义的行动，任务的成功与否取决于学生A的行为和他们之间的互动。学生们需要一起探索和浏览任务空间，直到他们可以在学生B的罐中放置4升橄榄油。这个问题需要解决者来制定一系列的行动以实现目标。表4中列举出了橄榄油任务中所观察到的相关元素以及所对应的“协作问题解决”技能，并且指出了哪些因素会影响学生的熟练程度。[10]
表4 橄榄油任务中捕获的技能示例

此任务既考察了学生的社会技能（学生A和学生B的有效互动），又考察了学生的认知技能（判断任务的因果关系和对具体任务的分析）。体现小组成员之间的协作、互动和交流，共同完成任务。
（三）测试任务特点分析
ATC21S的每个测试任务都是事先设置好，每个任务都需要人-人交互（Human-to-Human，简称H2H）的模式来完成。任务的长度和复杂度从1-8页不等。这些任务被设计成可以识别为游戏式的谜题（比如game of 20），包含有审美吸引力的图形来激发学生的热情和维持学生的兴趣度。[11]任务设置的情境，要求必须通过两名学生的协作来完成任务，实时记录问题解决的全过程。在任务的整个协作完成过程中，要实时收集学生的行为表现数据。例如，一个人在协作过程中的行为可以由一个评分者或一个自动评分引擎正确或不正确地评分。这些行为或者数据表明协作的双方是否成功地解决了这个问题。因此，在协作过程中要测量一些相对容易测量的过程变量，如每个团队成员的参与水平和轮值。除此之外，由于日志文件中产生的数据的动态性和体积的庞大性和复杂性，想要解释数据背后表达的内容将会变得更加复杂。可以说对协作解决问题任务的测量和评估尚处于研究阶段。
四、启示
我国是一个教育考试大国，但教育测量与评价的技术和方法还不是很成熟，尚处于探索和发展阶段。ATC21S所建立的“协作问题解决”能力评价指标体系，为当下核心素养评价理念的更新以及测试框架的建构等提供有益启示。具体体现在以下几个方面：
（一）开发出基于互联网和计算机的学生能力评测技术
在我国教育测评时，由于纸笔测试实现简单、操作方便、成本低等天然优势成为各类考试沿用的主要形式，但纸笔测验同样存在不可规避的缺点，比如测验的内容有限，试题形式固化，难以实时展示和记录学生在真实任务情境中解决问题的思维过程和情感态度变化轨迹，不能为改进教学及时提供更多有用的反馈信息等。
“协作问题解决”能力评价指标体系设定了丰富的情景模式，注重科学合理的评价过程。在评估时，既能关注到测试结果的评价，又能关注学生行为和思维的发展变化。除了ATC21S项目组外，2012年，国际学生评估项目（Program for International Student Assessment，PISA）通过计算机网络，测评了学生在真实任务情境中的问题解决能力；2013年，国际成人能力评估项目（Program for the International Assessment of Adult Competencies，简称PIAAC）测量了成人在丰富技术环境下的问题解决能力。可以预见，随着数字化时代的到来，基于互联网、计算机的无纸化评测必然在教育测评中占据很大的比例，成为全球各国发展的趋势。
（二）反思更新能力测试目标，引领学生深度发展
ATC21S项目的全名是“21世纪技能的评价与教学项目”，强调对“协作问题解决”能力等核心技能测评的诊断功能，测评的结果直接反馈到教学实践中，做为教师教学指导。但我国目前以高考、中考为代表的各类大规模测试主要为升学服务，为检验教学目标达成服务，造成“考试考什么、老师就教什么、学生就学什么”的局面，其对教育生态的异化一直受到诟病。测试目标是设计大规模测试必须首先考虑的因素，我国目前大规模教育测评项目的目标也不应该只是为了获取学生个体的成绩排名，而更应该关注收集教育质量的整体信息，探索影响教育质量的因素。国家教育顶层设计是以全局视角去系统规划国家各个层面的教育发展方向与实施策略，其核心理念和目标指导着国家教育的发展框架，大规模教育测试目标要反映教育顶层设计，树立正确的教育质量观，为转变教育传统管理方式提供参考，推动国家教育质量不断提升。
（三）精心设计测试任务，关注学生高阶思维能力的培养
ATC21S中的协作问题解决能力指的是学生综合运用多种学科知识解决生活中实际问题的能力，其包含了理解、分析、推理、反思等多种要素。问题解决能力是学生未来参与社会，成为合格公民的基础。国际社会十分重视对学生协作问题解决能力的培养，国际评价项目（如 PISA 等）也越来越重视考察学生的协作问题解决能力。在PISA2015将协作问题解决能力作为与科学素养、数学素养和阅读素养并列的一项测试指标。其原因正是现实工作环境需要员工更多地交流与协作，协作问题解决技能已经成为未来社会公民必须具备的基本素养。随着评价理念的发展，标准化测验逐渐受到人们的批判和质疑，评价的基本出发点需要从“学生学到了什么”转向“学生能做什么”。PISA等权威大型测验的实施也证明了高阶能力和社会技能的可测性，我国的教育测评领域需要以此为借鉴，加强对核心技能的测量研究，特别是加强高阶认知技能、社会技能和情感态度的操作性定义框架研究，由此拓展测评内容，延伸教育测评的覆盖范围。目前，在我国的科学学业测评中，科学试题大多数还是追求知识的系统性和严密性，缺少具体情境。创设真实试题情境，一方面能够使学生的注意力快速集中到测试中；另一方面，只有在真实的社会问题和背景中测试科学知识，才能提高学生的实际问题解决能力。因此，我国的大规模测试试题的设计也要联系生活实际，加强对学生协作问题解决能力的考察。
（四）组建专业测试团队，为学生能力测试提供智力支撑
教育测评手段的改革是一项复杂又艰巨的挑战，改革的顺利进行需要教育测量方面的专家学者的指导、政府部门的大力支持、业务娴熟的技术人员，以及各个评价机构的协作。ATC21S中CPS（协作问题解决）评价框架中的每一项指标和水平等级都是基于一定的理论基础（KSAVE模型）和实践经验，由ATC21S的专家小组和斯坦福大学领导小组确定和描述的。可见，要实现教育评价的专业化离不开专业理论与实践的支持。我国在教育评价领域的研究还比较薄弱，急需一批具有坚实理论基础和丰富实践经验的评价专家人员，针对当前教育改革带来的新的评价理念和方法进行系统化研究。只有建立完整、科学的评价体系，才能确保评价结果的真实、准确，真正发挥评价的功能与价值，进而促进教学方式的变革和教育质量的提升。
参考文献：
[1]Adams， R.， Vista， A.， Scoular， C.， Awwal， N.， Griffin， P.， & Care， E. Automatic coding procedures for collaborative problem solving. In P. Griffin and E. Care (Eds.)， Assessment and teaching of 21st Century skills： Methods and approach Dordrecht， Netherlands： Springer. 2015(3)：115-132.
[2]Stephen M. Fiore， Art Graesser，Samuel Greiff，Patrick Griffin，Brian Gong，Patrick Kyllonen，Christine Massey，Harry O’Neil，Jim Pellegrino，Robert Rothman，Helen Soulé，Alina von Davier. Collaborative Problem Solving：Considerations for the National Assessment of Educational Progress.2017(4) ：6-24.
[3]张景璐，于海波，徐海阳.ATC21S项目中“协作问题解决”能力评价指标体系及启示[J].教育理论与实践 ，2017，37(14)：13-16.
[4]Esther Care， Claire Scoular & Patrick Griffin. Assessment of Collaborative Problem Solving in Education Environments. Applied Measurement in Education， 2016，29(4)：250-264.
[5]袁建林，刘红云.协作问题解决能力的测评：PISA2015和ATC21S的测量原理透[J].外国教育研究 ，2016，43(12)：45-56.
[6]Patrick Griffin，Esther Care.Assessment and Teaching of the 21st Century Skills- Methods and Approach.Assessment in Education Principles Policy & Practice，2014，21（4）：502- 505.
[7]Harold F. O'Neil，San-Hui Chuang，Gregory K. W. K. Chung. Issues in the Computer-based Assessment of Collaborative Problem Solving［J］.Assessment in Education：Principles，Policy &Practice， 2003，10(3)：361-373.
[8]Arts， J. A. R.， Gijselaers， W. H.， & Seers， M. S. R. (2006). Enhancing problemsolving expertise by means of an authentic， collaborative， computer supported and problem-based course. European Journal of Psychology of Education， 21(1)， 71-90. doi：10.1007/BF03173570.
[9]Marilyn Binkley， Ola Erstad， Joan Herman， Senta Raizen， Martin Ripley with Mike Rumble. Draft White Paper 1 Defining 21st century skills. 2010，1 (3)：3-60.
[10]Russell， M.， Goldberg， A.， & O’Connor， K.. Computer-based testing and validity： A look into the future. Assessment in Education： Principles， Policy & Practice， 2003 10(4)：279-294.
[11]Patrick Griffin，Esther Care.Assessment and Teaching of the 21st Century Skills- Methods and Approach.Assessment in Education Principles Policy & Practice，2014，21（4）：98.