2016年4月初,受美国教育考试服务中心(Educational Testing Service,简称ETS)邀请,新东方集团国外考试推广管理中心选派出一组经验丰富的教师和研发团队赴美参加ETS全球学院组织的Design and Development of Large-Scale Assessments主题培训。该项目为ETS在全球范围内提供的培训课程,旨在通过一些相关的研讨与讲座的形式帮助参培的教师更加深入的了解测试与教学的相关专业知识。
如果说首日的培训是从Psychometrics(测试学)这样一个极其宽泛的话题切入,或多或少有些抽象,令人不得尽兴的话,今天我们才真正得见ETS在设计考试时的工匠之心。不论是仅在美国少数州小范围使用的PARCC测试 (The Partnership for Assessment of Readiness for College and Careers),还是在全球范围内留学生所熟知的TOEFL和GRE,无一例外。这份工匠精神的学名,是一个我们略为陌生的概念,ECD,全称Evidence Centered Design。
正如上图所示,ECD是一个严格且闭合的流程,能够极大程度提高考试设计的信度和效度。我们不妨来以TOEFL写作单项为例,来看看它背后的ECD包含怎样的关键步骤:
1, 确认考试的Domain以及针对考生提出的claims。例如“TOEFL考试是为了检测考生是否能够在北美学术环境中生存(Domain),因此,考生应该具备归纳信息且独立输出学术篇章的能力(Claim)”。
2, 思考怎样的Evidence能够证明考生达成了第一步中的claim。例如“要证明考生能够归纳信息并且自主输出,其Evidence应该是一篇结合所给内容的分析性段落或文章”。
3, 思考怎样的Item(即考题)能够引导学生给出第二步中的Evidence。用选择题形式还是Essay形式?给考生一篇阅读让他发表自己的看法?给考生一段听力并且复述其中的内容?还是将两者结合?ETS最终的答案是Integrated Writing,也就是我们熟知的综合写作,兼具了阅读和听力的归纳能力,以及独立输出的写作能力。
4, 根据第三点中的Item Model,出题人开始在各种源头寻找对应的材料,并按照该model的要求编写一个完整的题库(Pool)。
5, 在需要编写一套TOEFL写作试题的时候,ETS还需要从题库中挑选合适的考题进行组卷。
6, 实际测试完成后,根据学员的答题情况重新迭代Item,去除那些与ETS预期不相符的考题(例如没有区分度,或者是有文化背景歧视出现等等),重构题库。
那么这样一套看似复杂的理论对于ETS相关考试未来的发展会有怎样的潜在影响呢?
我们不妨来看看这样一道题。假定这是一道TOEFL阅读中出现的词汇题:
倘若ETS希望考察的是考生从上下文中推断未知词意的能力,那么光凭这一道题能否展现相应的Evidence呢?答案是否定的,因为可能有部分考生不具备这种推断能力,仅仅是凭借着词汇量大的优势就完成了作答。这其实也是现在TOEFL阅读词汇题为人所诟病的原因。
但是如果我们将下面这道题也一并加入试卷中呢?
这道题清晰的展现了考生根据上下文来进行推断的Evidence,完美的弥补了上一道题Evidence不足的问题。因此,两道题的组合才形成了一个完美的Combo。
有没有觉得这样的改动似曾相识?
没错,活脱脱就是从老SAT到新SAT,从重点考察词汇量,到注重Evidence based Reading。
因为SAT的命题方就是ETS(恐怕还有小伙伴不太知道这一点)。
那么将来这样的变革会不会也发生在TOEFL,发生在GRE身上?很有可能。不过没有关系,在随后的培训中,我们会替大家打探更多关键的信息,确保咱们中国的考生能够第一时间拥抱变革并且从中获益。
相关推荐:
更多托福资讯请访问》》》新东方网TOEFL频道
(责任编辑:马荟)