2016年4月初,受美国教育考试服务中心(Educational Testing Service,简称ETS)邀请,新东方集团国外考试推广管理中心选派出一组经验丰富的教师和研发团队赴美参加ETS全球学院组织的Design and Development of Large-Scale Assessments主题培训。该项目为ETS在全球范围内提供的培训课程,旨在通过一些相关的研讨与讲座的形式帮助参培的教师更加深入的了解测试与教学的相关专业知识。
或许在考生、家长和培训机构面前,TOEFL、SAT和GRE考试仅仅是一个标准化测试,但在ETS命题官和研究者的眼中,这些考试他们的骄傲—是他们使用了现代的考试测量理论,经过反复的推敲和论证的杰作。
热点信息速递
近日,新东方ETS访问团听取了Nancy,Paul 和Robin 三位ETS管理者的报告。他们分别向新东方ETS访问团展示了ETS在考试设计、考试说明和考试判分上的诸多考虑,以及背后的原理。
以证据为中心
实际上ETS每年管理数百种考试,而TOEFL和GRE仅仅是这些考试中较为突出和受众较广的一类。Nancy女士首先跟新东方ETS访问团分享了ETS在进行任何考试设计时的最基本的原则,也是他们在自上世纪90年代以来一直秉持着的理念,那就是以证据为中心的考试设计理念(Evidence-Centered Test Design,简称ECD)。
这种理念是一种逻辑性极强、非常系统的考试设计和开发的测试方法。它帮助我们能更好的确定我们想要衡量考生的什么素质。
Claim、Evidence、Item
Nancy 女士又用K-12测试作为例子向访问团展示了,在ECD方法下重要的三个元素:Claim - 关于考生素质的核心论述;Evidence - 支持这些核心论述的证据; Item - 能够发觉这些证据的题目。
而当访问团成员确定考试的设计后,就要将这些涉及付诸文字,即撰写考试说明(Test Specification)。考试说明是政府机构、测试开发商、题目撰写者、参考人员和使用考试分数的大学等机构的必备文档,我们熟悉的Official Guide就是考试说明的一种。Paul用生动的语言告诉了我们从考试说明到试题开发中,ETS经常遇到的一道难题,那就是在有效性(Face Validity)、成本(Cost)和可靠性(Reliability)之间的权衡。
题目真的太贵了
Paul提到了在老SAT和老GRE考试中经常使用的类比题目,这类题目现在已经被考试所抛弃,主要是因为他虽然单题成本(cost)较低,而且也非常的可靠,因为学生在重复考试中都能体现出相同的记过,但却并不有效,因为这些题目不能反映出学生在本科生学习或研究生学习的真实能力体现,因此现在已经被广泛抛弃。事实上,任何题目形式都是上述三点妥协的结果,既要将考试的价格控制在合理的范围之内,又要能够很有成效的区分考生。这或许也解释了为什么ETS重复使用题目的原因,因为他们的题目真的太贵了。
Robin在GRE项目多年,主要负责GRE项目的算分工作,既包括general test,也包括subject test。在下午的交流中,Robin向访问团展示了IRT(Item Response Theory)理论如何应用在考试算分中,以及CAT(Computer Adaptive Test)在GRE考试中的实际操作。这些都让我们对于GRE考试的算分以及电脑自适应有了更加深入的了解。
新东方ETS访问团的交流还在进行中,随着交流的深入我们会继续为考生们探秘,解开标准化考试背后的种种细节。
相关推荐:
更多托福资讯请访问》》》新东方网TOEFL频道
(责任编辑:马荟)