进修 | 目标驱动为测试,科学设计方促学 ——记“测试理论与实践研修班”
2015/08/17
2015年8月13-14日,由北京外国语大学中国外语教育研究中心与外语教学与研究出版社联合主办的“测试理论与实践研修班”在北京大兴外研社国际会议中心成功举办。此次研修班邀请了北京外国语大学韩宝成教授、外交学院许宏晨副教授和北京外国语大学杨莉芳博士和罗凯洲博士等测试领域的专家,就国际语言测试的前沿理念与方法作了系统、深入的阐释,就测试的测量目标与任务设计以及外语测试的常用统计方法给予了详尽指导。研修班以问题为驱动,讲练结合,在帮助教师们解决实际困惑的同时也为他们提供了活用测试开展教学和深入测试研究的钥匙。
会场全景
前沿理念 框架指引
韩宝成教授首先从测试理论层面界定了语言测试的定义,以及由定义引申出来的关键概念,如信度、效度、标准参照以及常模参照等。韩教授还引用了Bachman的经典理论来解释语言运用与语言能力这对重要概念,并总结到语言运用就是创造和协商意义的过程,而语言能力是“解读语言信息并运用语言交流意义的能力”。通过对易混淆概念的区分,韩老师为参班学员厘清了语言测试中各个概念之间的区别和联系,消除了概念上的误区。
“I think, therefore I learn.”在Bachman的测试理论铺垫下,韩老师进一步提出了“认知能力模型”(thinking-based language ability)的理论框架。这个框架要求教师改变传统的测试理念和方式,提醒教师在组织安排课堂活动时要考虑到其对学生认知能力(或level of thinking)的挑战。韩老师强调命题测试前教师需要弄清楚五个方面:“begin with consequences; consider decisions; identify the information you need; consider the quality of information; consider how to collect information”。 韩老师的讲授为学员们梳理了语言测试的重要概念和理论,让大家对语言教学和语言测试有了深入全面的了解,为学员们参与测试评估或直接设计测试提供了框架指导。
韩宝成教授
技能测试 目标导向
罗凯洲博士和杨莉芳博士分别讲解了关于阅读、写作、听力和口语测试命题需要遵循的原则及注意事项,阐述了测试设计“三步走”的理念——从目的到构念到类型设定。罗老师重点讲解了测试研究中“构念”(construct)这一关键概念,并深入挖掘其在阅读测试方面的使用意义。通过对比托福、雅思和大学英语四级考试的题型,罗老师帮助参班学员了解了不同题型在不同维度的考察侧重以及对考生们认知能力程度上的不同要求。罗老师还为大家推荐了一款实用性强的文本难度测量软件(textevaluator),为学员们进行科学命题提供便利。在写作方面,罗老师列举了大量实例,并重点分析了加州大学洛杉矶分校一次阅读测试和我国某年高考英语作文的命题构念,指出两者各自的优劣和今后的改进方向。针对哪种测试最好这一问题,罗老师强调“没有好不好,只有合适不合适,只要适应命题目标,使用正确的命题方法和构念,就已接近成功。”
罗凯洲博士
杨老师主要从听力和口语方面讲授了测试的设计要素、出题原则及评分标准。在听力测试中,杨老师首先从理论的高度(即skill-based的角度)来定义听力的构念,如听懂材料的显性信息、猜测隐含信息、理解深层次信息以及整合信息的能力等。另外,她还细致分析了影响听力任务难度的因素,如事件的复杂程度、事件之间逻辑关系的强弱、材料中人或物之间的差异度等。在口语任务设计方面,杨老师提醒学员们首先关注考生特征(包括语言水平、使用需要、能力要求等)要素对口语测试设计的影响,其次重点考虑测试目的,由此引出任务设计的类型,是倾向事实性表达或评价性表达,是单独测试还是小组测试,并在题型难度设定、材料选择、是否采用机辅模式给予指导。关于评分方面,杨老师采取了实践模拟与评估的方式。通过为托福口语考试模拟打分,学员们对口语考试评分标准有了更加切身的体会。
杨莉芳博士
测试检验 数据支撑
如何判断一份试卷的信度、效度高低以及项目的难度、区分性和干扰项的设计是否合理呢?许宏晨副教授从统计学的角度为学员们进行了详细的讲解和具体的操作演示。许老师使用SPSS软件对一份样卷的各个方面进行了逐项分析和解读,让学员们明白了各项指数所代表的含义。针对学生成绩分析,除了常用的平均分之外,许老师还带领大家从标准差的角度,通过观察正态曲线,了解了如何准确、全面地判断一个班的整体成绩。许老师在课程最后还给大家推荐了一些经典的、可读性强的测量类书籍,供学员们课下自学提高。
许宏晨副教授
小组讨论 汇报点评
为使参班学员能够更好地交流和分享课上所学,本期研修班设立了小组任务环节,即每组在规定时间内完成阅读或听力测试题目的设计。在小组讨论中,学员们对于题目设计各抒己见,踊跃发言,同时也交流了听课收获和心得。各组代表汇总小组成员的讨论成果并在大班上进行了精彩汇报。大家的题目设计思路清晰、题型丰富、创意不断,令专家们连连称赞。针对各组的汇报,专家不仅从宏观上即设计目的、整体框架方面进行了点评,还在微观上就题目的具体设计细节提出了中肯的改进建议,包括尽量保持问题与原文顺序一致,避免问题集中分布,精简题干与答案项,杜绝模糊性表达等。通过小组汇报环节,学员们感到将理论学习与实践应用结合了起来,学习更有成效。专家的点评让大家进一步明确了测试任务的各项要素,更加关注试题设计中的常见问题,也意识到“围绕测试目标进行设计”的重要性。一位学员在日志中写道:出一份“良心”试卷,要考虑到方方面面,实属不易。
正如研修班主持人外研社高英分社李会钦社长所说,两天的测试理论与实践研修班学习可能并不重要,重要的是研修班之后如何将所学所感转化为实际行动,语言测试不仅是单纯的考试,更是科学评测学生认知和引导学生有效学习的必要途径,希望各位老师以此为契机,深入学习测试理论与设计流程,自主设计、对比、评估,真正实践以测促教、以测促学。