基于课程标准和证据：美国语文教材评价工具研究
基于课程标准和证据：美国语文教材评价工具研究摘 要：美国《教材评价工具》的评价指标分为“不可协商标准”和“一致性标准”两类，并与《共同核心州立标准》的“关键转变”建立对应关系，以使教材评价标准做到“基于课程标准”；在评价程序上要求评价者对被评价教材做出的每一项评定都要提供相应的例证作为证据，以体现“基于证据”的要求。美国的经验启示我们不仅要建立、健全教材评价工具，形成基于证据的教材评价程序，而且要通过教材评价工具引导教材建设合目的性发展。
关键词：教材评价；教材评价指标；教材评价程序；基于课程标准；基于证据
教材是学校教育教学的重要平台，它不仅起到便于教师教、促进学生学的作用；而且是国家意识观念和民族文化遗产传播的重要媒介。教材建设是一项系统工程，需要各个部门、环节相互配合。开发明确具体的教材评价指标、规划科学合理的教材评价程序，最终形成健全的教材评价工具，不仅有益于教材审查工作系统、全面地展开，而且有利于提高教材编写质量，能够促进教材建设的持续发展。国外在20世纪初开始教科书评价的相关理论研究，包括评价的概念、范围、内容、功能、主体、过程、方法和原则等。20世纪70年代以来，国外不少学者提出了语言教材的评价工具方案。如塔克（Tucker）提出了建立在“一套标准”、“评级计划”和“评阅者意见”基础之上的、衡量初学者教科书内部和外部价值的标准；卡迪林和布林（Candlin & Breen）就教材中的内容组织问题提出了相关标准，并率先提出在开发材料时使用这些标准；威廉姆斯（Williams）提出了一般属性、语言、语法、词汇、阅读、写作、技术等的教材评价标准；斯科索（Skierso）通过结合许多出版物的标准为教科书和教师用书提供了较为详细、全面的清单。但这些探索，要么高度依赖于个人的学术观点和旨趣，彼此间难以沟通，要么简单地罗列相关标准条目，未及证明背后的原则，尚待实践检验。
美国是较早在教育领域建立并实施教材评价工具的国家之一，其中最有影响的教材评价工具是美国科学促进协会在1985年为配合《2061计划》发布的《2061计划评价工具》。近年来，尤其是《共同核心州立标准》公布后，教材评价工具的开发和使用再度受到人们的重视。本文选取其中较为典型、应用范围较广的由“学生成就合作伙伴”（Student Achievement Partners）和州首席教育官理事会（the Council of Chief State School Officers，简称 CCSSO）、大城市学校理事会（the Council of Great City Schools，简称CGCS）三家组织合作开发的《教材评价工具·英语语言艺术/读写能力》（2016）（Instructional Materials Evaluation Tool (IMET) ELA/Literacy）（下文简称《教材评价工具》）为考察对象，以达管窥美国语文教材评价工具特点之效。
一、教材评价工具开发的背景
美国教材的评价和选用主要有三种方式，一是地方学区的教育委员会自由选用教材；二是地方学区的教育委员会根据州认可的教材目录单选定教材；三是地方学区的教育委员会遵照制定的标准选定教材。开放的市场机制与广大的市场空间吸引着众多教材出版商和编写者参与到教材编写和开发中；这就为各州、地方学区和学校在教材选用上提供了很大的空间。但买方市场带来的困扰却是如何在琳琅满目的教材中挑选出高质量的产品。
2010年，美国为应对国际学业测评带来的挑战，使学生在升学和就业方面适应21世纪的需要，公布了《共同核心州立标准·英语语言艺术和历史/社会、科学和技术学科中的读写标准》（Common Core State Standards for English language arts & literary in history/ social studies science and technical subjects）（下文简称《共同核心州立标准》）。在这个标准中，研制者希望学生通过幼儿园到12年级的语文课程学习，在“复杂文本及其学术语言的常规实践”（即“文本复杂性”）、“在文学类或信息类文本中开展基于文本证据的的阅读、写作和讲话”（即“证据”）、“通过内容丰富的非虚构作品构建知识”（即“知识”）三个方面获得“关键转变”。以《共同核心州立标准》为起点，美国教育领域在原有基于各州课程标准的改革基础上开始了一场全新的基于课程标准的课程改革。一大批冠以“基于《共同核心州立标准》编写”的教材纷纷问世。但据一项教材开发报告显示，有90%的受访教师认为开发出与《共同核心州立标准》要求一致的教材是一项艰巨的挑战；只有18%的教师认为他们所在学区使用的教材与《共同核心州立标准》相一致。这一反差愈发凸显了在买方市场环境下选择和购买基于《共同核心州立标准》的语文教材的问题比以往任何时候都更加重要。
按照一致性策略的假设，通过相关资深专家制定严格且广为接受的课程标准，并严格按照课程标准的要求制定相应教材，教师在教学中遵循课程标准，并运用标准监测学生学业进展就有望提高学生学业成绩。基于这样的认识，为解决教材设计与《共同核心州立标准》一致性和教材选购的问题，在美国渐次形成了一系列地方性和非地方性的教材评价工具。地方性的教材评价工具往往会参考非地方性教材评价工具的原则、结构、指标和程序，再结合本州课程政策和实际情况制定相应的教材评价工具。如加利福尼亚州、犹他州等均发布了州一级语文教材评价工具供选择教材时使用。非地方性的教材评价工具主要由一些非盈利性教育组织、机构或出版业行业协会召集相关人员研发。如由《共同核心州立标准》主要研发者大卫·科尔曼（David Coleman）和苏珊·皮门特尔（Susan Pimentel）负责撰写、由全美州教育局长理事会（council of chief state school officers）、美国全国州长协会（National Governor Association）发布的《共同核心州立标准·英语语言艺术和读写素养出版商标准》（2012）（Publishers’Criteria For the Common Core State Standards in English Language Arts and Literacy）；由 教 育 报 告 组 织（EdReports.org）发布的《高品质教材工具·英语语言艺术》（2017）（Quality Instructional Materials Tool ELA）和本文的考察对象《教材评价工具》。
二、《教材评价工具》的结构、评价指标和评价程序
《教材评价工具》在研制之初即以帮助教育工作者确定教材是否与《共同核心州立标准》的主要特征和关键转变相一致为鹄；旨在为教师、课程开发人员和出版商对教材中应具备哪些内容提供有针对性和策略性的指导；通过强调《共同核心州立标准》中最重要的内容，减少教材中与标准要求分散（Distract）或不一致的要素，改进与之相一致的要素，使教材契合课程标准的要求。
（一）《教材评价工具》的结构
《教材评价工具》分为幼儿园到2年级（K-2）和3年级到12年级（3-12）两个文件。每份文件由前辅文、评价指标和总评三部分构成。前辅文包括“介绍”（Introduction）和“开始”（Getting Started ）两项内容。“介绍”是对开发《教材评价工具》目的的说明；“开始”部分又由“何时使 用”（When to Use the IMET）、“何 人 使 用”（Who Uses the IMET）、“评价之前”（Prior to Evaluation）和“工具导航”（Navigating the Tool）四个子项目组成。其中“评价之前”对评价人员工作开展前对课程标准和评价工具等文件熟悉程度提出了要求；“工具导航”是对评价程序的介绍。评价指标部分是《教材评价工具》的主体，分“不可协商标准”和“一致性标准”两种类型。每一类型又包括3或4个评价维度，每一维度又由数量不等的评价指标构成。
《教材评价工具》中每一评价维度包括说明、具体指标和小结三项内容。“说明”部分包括该评价维度与《共同核心州立标准》对应的“关键转变”，评价维度的阐述，评价中需要使用材料的汇编（Materials to Assemble），评价指标的概览（Review）和评价时的要求。“具体指标”所在页面呈三列分布，左边一列是评价指标的具体内容；中间一列是对评价者在评价过程中“如何找到相应证据”（How to Find the Evidence）的指导；右边一列是评分栏和用于记录评价者给分证据的空白栏。略有不同的是，在“不可协商标准”评分栏中只有“达到标准”（Meets）和“未达到标准 /证据不足”（Does Not Meet/Insufficient Evidence）两项；而在“一致性标准”中有“达到标准”、“部分达到标准”（Partially Meets）和“未达到标准”三项。“小结”部分包括评价者依据各指标得分对被评价教材在该维度上是否达到标准做出的判定和对该教材优势和不足的简要描述。
《教材评价工具》的最后两页是“总评”部分。在这两页的上半部分用于填写被评价教材名称、出版日期、出版商，评价人姓名和评级日期等信息。总评第一页的中间部分是对各评价维度结果的汇总，“不可协商标准”和“一致性标准”分列。下半部分是对上述两个类型评价结果的总结。第二页是对被评价教材是否达到标准的最终认定；同时要求评价者给出质性评价意见，以供教材开发者和出版商日后改进。《教材评价工具》的结构见图1；《教材评价工具》中各类型评价指标和评价维度见表1。
此节首先给出一种基于随机梯度SG(Stochastic Gradient)迭代和Probit模型的最大似然估计方法,然后推导出一种基于权重的最大似然估计算法。
图1 《教材评价工具》结构示意图
表1 《教材评价工具》的评价维度及指标
（二）基于《共同核心州立标准》的教材评价指标
《教材评价工具》的评价指标分为“不可协商标准”和“一致性标准”两种类型。所谓“不可协商标准”（Non-Negotiable Criteria）是要求被评价的教材必须达到每一项评价指标的要求，以达成《共同核心州立标准》中提出的“关键转变”。之所以称为“不可协商标准”，是因为其中的每一项指标只有“达到标准”和“未达到标准”两个可评分项；若被评价教材有一项指标被判定为“未达到标准”，评价工作将就此终止，意味着该教材将被判定为“未达到标准”，列入“不予推荐教材”名单。表2所列即为“不可协商标准”的评价维度和具体评价指标。评价维度重点关注教材在文本质量、基于证据的讨论和写作、建立知识三方面的表现水平，即要求被评价的教材必须在这三方面体现、达到《共同核心州立标准》中规定的内容和水平。“文本质量”中的两条指标主要关注教材中的文本在复杂度、学术语言的分量等量化指标上与《共同核心州立标准》规定的一致性。如指标1.1要求，“教材中有依据定性和定量研究方法确定的、与标准规定的等级相符的锚定文本（Anchor texts）。”该指标通过对教材中文本质和量的规定，能够有效地将课程标准中蕴含的学习进阶更准确地投射到教材中，对学生的学习产生影响，达到预期水平。“基于证据的讨论和写作”关注教材中的练习和活动等的设计是否以所学文本为依据，且通过这些问题、练习和活动既能加深学生对文本的理解水平，又能起到训练学生思维能力的作用。如指标2.1要求，“在教材所有的问题、任务和作业中，至少有80%是与文本相关的，并要求学生利用文本证据支持文本中明确的和有效的推论。”这条指标意味着教材编写者必须花费心力去设计教材的学习活动，不仅要有足够量的与文本相关的练习，而且要在质的水平上起到锻炼学生思维的效果。“建立知识”关注教材在培养学生基础知识方面的水平。如指标3.1要求，“在教材呈现的一系列文本中，通过阅读、写作、听力和口语等学习方式使学生系统地建立知识和词汇。”这表明基础知识和基本技能的培养是教材的核心内容，即使在“21世纪技能”引领下的教育改革中，基础知识的地位仍然不能被放逐。正是 “不可协商标准”对教材质量提出的刚性要求，使获得推荐的教材能与课程标准的要求相一致。因此，这种类型的评价指标又被称为“‘守门人’标准”（“Gatekeeper”Criteria）。
表2 《教材评价工具》中“不可协商标准”具体指标
一致性标准（Alignment Criteria）是对被评价教材与《共同核心州立标准》中有关规定的一致性程度的评价。“一致性标准”不像“不可协商标准”是一种非此即彼的选择，而是将被评价教材与课程标准的一致性程度划分为“达到标准”，记2分，“部分达到标准”，记1分，和“未达到标准”，记0分三个评分等级。可以说，“一致性标准”中每个评价指标的三种得分可能性为评价教材提供了更大的区分度，也为教材更加多元和创造性的符合课程标准提供了表现性空间。表3所列即为一致性标准的评价维度和具体评价指标。就评价维度来看，“一致性标准”主要关注教材文本的范围和质量，问题、话题和任务的设计，运用文本、词汇及任务构建知识和使所有学生达到标准四个方面为学生提供的机会和水平。在关注的核心内容上，前三项评价维度与“不可协商标准”中的内容基本一致。不同之处在于，“一致性标准”要求教材“包括大量的高水平的非虚构文学作品”、“大部分文本反映课程标准要求的文本特征和体裁”、“为学生进行合作讨论提供丰富的机会”、“定期组织学生进行相关主题知识的展示活动”、“提供定期和系统的评估”等。也就是说，“一致性标准”在“不可协商标准”基础上，更加关注教材在“关键转变”方面体现出的机会的丰富性、活动的多样性，注重引导教材通过更加丰富学习机会和学习活动的创设，成为于“教”和“学”均有益的材料。
表3 《教材评价工具》中“一致性标准”具体指标
通过上面的考察可以看到，“不可协商标准”、“一致性标准”通过与《共同核心州立标准》中提出的“关键转变”建立对应关系的方式实现教材评价工具与课程标准的一致性，使教材评价工作做到“基于课程标准”。这种对应关系见表4。
表 4 “不可协商”、“一致性标准”与《共同核心州立标准》“关键转变”对应关系
正是通过上述建立对应关系的课程一致性策略，一方面，最大限度地保证体现国家教育意志的经过“编码”的课程标准在“教材化”的“解码”过程中能得到实践，缩减正式的课程与领悟的课程乃至运作的课程之间的距离，保证课程标准的落实；另一方面，使那些为教师忠实执行课程标准意图创造条件、为学生实现“关键转变”提供支持的教材脱颖而出，营造“基于课程标准”教学的氛围。
当然，我们在肯定《教材评价工具》与《共同核心州立标准》建立对应关系之余，还应当意识到，教材是以促进学生发展为目的的“教学活动文本系统”，教材评价工具在基于课程标准时，应当忠实于课程标准的核心理念和价值取向，而不能搞简单的对应关系。惟其如此，才能引导教材建构的“客体活动方式结构与主体发展的内在素质结构相适应”，真正选出高质量的教材。
（三）基于证据的教材评价程序
美国教育领域突出强调“基于证据”是源自2002年美国时任总统布什签署的《不让一个孩子掉队法案》。其后，为了论证有效的教育实践对学生学习与发展的长效影响，美国政府十分鼓励并大力推动“基于证据”的教育研究。政府的宣传导致了人们对证据的强力需求与高度重视。于是，类似的教育术语在 2002 年之后纷纷出现，如“证据影响的”(Evidence -influenced)、“偱 证 的”(Evidence-informed) 、“证 据 表 明的”(Evidence-aware) 教育研究受到了极大的赞赏。在这一风潮影响下，“基于证据”也成为美国语文教材评价标准的一个重要特征。
《教材评价工具》的评价程序分为四步：
1.材料准备，参与培训
《教材评价工具》要求在评价工作开始前，评价者需要汇集（Assemble）与评价工作有关的所有材料，除被评价教材外，还需要准备《共同核心州立标准》及其附录A《文本复杂性的最新研究》（New Research on Text Complexity）。另外，教材评价人员还要学习评价标准，并接受相关培训。
评价者按照“不可协商标准”的每个维度和指标对被评价教材进行“基于证据”的评价。若其中有一个指标被评定为“未达到标准”，则终止评价程序，若无则继续后续评价。
3.以“一致性标准”为依据对教材评价
评价者按照“一致性标准”的每个维度和指标对被评价教材进行“基于证据”的评价。每一维度依据各指标得分之和判断是否“达到标准”，若得分低于该维度的最低分数要求（约为总分的60%）则终止评价程序，若高于最低分数则继续后续评价。
4.进行总评
依据2和3中对被评价教材是否达到标准的评判，评价者在《教材评价工具》最后的页面对该教材做出最终评定，并就其优点和不足给予质性评价。
上述步骤中特别值得注意的是2和3中要求对被评价教材进行“基于证据”评定。《教材评价工具》中的“基于证据”要求评价人员在进行评价时，必须引用多个源自被评价教材的例子作为证据，以证明评价者在某一指标上给出的评定是客观、公正、合理的。评价者要将所举证据所在的课程名称、单元主题、页码等信息记录在表中“证据”的位置上。
《教材评价工具》不只提出了“基于证据”的评价要求，还为评价者提供了进行“基于证据”评价的指导。前文提到，《教材评价工具》的每一评价指标页面上有一列是对评价者在评价过程中如何找到相应证据的指导，由“需要找什么”（What to Look For）和“在哪里看”（Where to Look）两方面构成。如“不可协商标准”的指标1.2要求，“教材中的锚定文本是具备可发表质量的、值得仔细阅读的信息类文本和文学作品。”在该指标对应的“需要找什么”中，提供的建议是：“查看选文是否拥有版权（这意味着该文是已发表的），判定选文是否展现了独特的写作手法或传递了有价值的信息，判断选文是否值得反复阅读，检查文学类和信息类文本所选比例是否适合所需水平”。而“在哪里看”中建议评价者对出版商提供的评价支持材料进行审查，或对被评价教材所有单元中的文本类型进行统计调查。这里的“需要找什么”和“在哪里看”通过方法的指导，为不同评价人员之间能协同开展评价工作提供了方法上的保障，一定程度上弥合了由于评价人员背景不同和对评价指标理解差异带来的评价结果间的差距。
开展“基于证据”的教材评价活动在一定程度上提升了教材评价工作的可靠性；而能在评价标准中明确各评价指标的可能的证据来源，本身就说明该评价工具是基于大量实证研究而形成的抽象经验，具有参考价值。但需要引起注意的是，“基于证据”的教材评价不应是从教材中寻章摘句般地找到给分的“证据”，而是要依据评价的目的，开展“合目的性”的评价工作。所以，在方法上除了采用审核表评价法之外，还应结合实验评价法、结构分析评价法等多种教材评价方式对教材开展更深层次的“基于证据”的评价。
三、借鉴与启示
（一）建立健全教材评价工具是教材建设工作的必要环节
在目前我国语文教材由“一标多本”转为“国家统编”的背景下，教材的“编”、“审”过程中尚缺乏体系完备、科学严谨、细致周详的教材评价工具；现有的《中小学教材编写审定管理暂行办法》、《全国中小学教材审定委员会工作章程》等文件虽对教材编写和评价做了一些规定，但往往存在着宏观指标虽多但针对性不够，微观指标明显缺乏，指标本土化和学科化程度不强等问题。2017年，为贯彻《关于加强和改进新形势下大中小学教材建设的意见》，进一步做好教材管理有关工作，国务院决定成立国家教材委员会，这是我国加强教材建设的重要举措。着手建立、健全具有新时代中国特色的教材制度成为近来的热点话题，而开发符合国情、科学合理、体现学科特性、关照相关主体需求的教材评价工具是教材制度建设的题中应有之义。这不仅是因为教材评价工具是教材研究和开发的重要环节，而且是保障和提升教材质量、促进教育事业健康发展的重要环节，更是教育教学过程中进行立德树人教育的重要引领措施。
（二）建设基于证据的教材评价指标和评价程序
教材评价工具研制的核心问题是对具体评价指标的研制和评价程序的设置，《教材评价工具》形成的基于《共同核心州立标准》开展基于“证据”的教材评价活动，不仅力图使每一项评价做到有理有据，而且为来自不同学术背景的教材编写者、评价者、使用者和研究者提供了对话的平台，有利于教材质量的持续提升和研究水平的不断深入。目前，我国中小学语文教材建设多是以“语文课程标准”为准绳，以编者的学术主张为旗帜，以评阅者的主观感受为依据，整个开发、评价和选用过程缺乏强有力的“证据”支撑。多年来虽有国内不少学者就教材评价工具建设问题撰文、讨论，但尚缺乏系统、实用、有较高认可度的工具问世；相关教材编写单位、出版机构虽有一些辅助其工作的教材评价工具，但多为内部资料，无法推广使用。从美国经验来看，在教材评价工具研发工作中，应将教材开发者提交的阐明其所编教材是“基于课程标准”、具有科学性、教育性等特征的材料作为“证据”，教材评价者提供的支持其评判结论的证据，来自教材实验区教师、学生、家长等利益相关者的评价和被评价教材对学生学业成绩、教师专业成长影响的质性或量化材料等作为“证据”，在 “基于证据”的评价过程引领教材建设的发展。
（三）以评价标准为抓手，引导教材建设合目的性发展
教材评价工具不仅具有用以满足社会政治经济需要以及满足学生发展需要的外在工具职能，还具有通过推动建立具有中国特色的教科书评价体系来实现教科书评价者自身发展的内在职能。这就要求应当注重发挥教材评价工具在教材编写、评价中的引导作用。在开发教材评价工具时，一方面应借鉴他国经验，将教材评价工具作为落实课程标准、促进学生学业水平提升的有力工具；另一方面，要结合我国教育的特色，通过评价标准引导教材合目的性建设。2017年，刘延东同志在出席国家教材委员会第一次全体会议时强调，“教材建设是事关未来的战略工程、基础工程，教材体现国家意志。要坚持党的教育方针，把握正确方向和价值导向，加强社会主义核心价值观和优秀传统文化、民族精神教育，帮助学生扣好人生第一粒扣子。”我国教材事业建设的一个重要指向就是将教材评价工具作为落实党的教育方针、加强社会主义核心价值观和优秀传统文化、民族精神教育的重要引导措施，通过明确、具体的教材评价工具引导相关出版机构、教材的编写者，在教材设计理念、内容选择、结构设计等方面守正出新，编出符合教育发展规律、体现我国教育文化特色、有助于学生全面发展的教材。
参考文献：
Brian Tomlinson， Hitomi Masuhara. The complete guide to the theory and practice of materials development for language learning. New Jersey：Wiley-Blackwell，2017：56-57.
Student， Achievement， Partners. Instructional Materials Evaluation Tool. https：//achievethecore.org/page/1946/instructional-materials-evaluation-tool.
董蓓菲.全景搜索：美国语文课程、教材、教法、评价.上海：华东师范大学出版社，2009.65.
Common Core State Standards Initiative.Key Shifts in English Language Arts . http：//www.corestandards.org/other-resources/key-shifts-in-englishlanguage-arts.
Edreports.org. Informed decisions，improved materials，better outcomes for students.https：//www.edreports.org/files/EdReports.org_AboutUs_7-2017.pdf.
EdReports.org.Quality Instructional Materials Tool： English Language Arts 3-8 ReviewTool.https：//www.edreports.org/files/EdReports_K2_ELA_Review_Tool.pdf.
刘春香. 美国基于共同标准的课程改革：策略与启发.上海：华东师范大学，2014：22-23.
David Coleman， Susan Pimentel..http：//www.corestandards.org/assets/Publishers_Criteria_for_3-12.pdf.
EdReports.org . Tools and Evidence Guides . https：//www.edreports.org/resources/tools-and-evidence-guides/index.html.
Achievethecore.A Overview： Toolkit for Evaluating A lignment of Instructional and Assessment Materials to the Common Core State Standards. https：//achievethecore.org/content/upload/Materials_Alignment_Toolkit_Overview_June2015.pdf.
David Coleman，Susan Pimentel. Revised Publishers’ Criteria for the Common Core State Standards in English Language Arts and Literacy， Grades K-2. http：//www.corestandards.org/assets/Publishers_Criteria_for_K-2.pdf.
孙智昌.主体相关性：教科书设计的基本原理.北京：教育科学出版社，2011.135-153.
姜勇，戴乃恩.论“基于证据”的教育研究的限度——“文化存在论教育学”的视角.华东师范大学学报 ( 教育科学版 )，2017，35(03)：73.
邝丽湛．教材评价的本质及其价值分析们.教育研究 .2002，(7)：33-36．
佚名.把国家教材建设作为战略性基础性工程抓紧抓实抓好.人民日报，2017-07-06-4.
页:
[1]