外研在线荣获“中文语法错误自动诊断大赛”全球冠军
2020/12/05
12月4日,国际计算语言学协会亚太分会第一届年会 AACL 2020(The 1st Conference of the Asia-Pacific Chapter of Association for Computational Linguistics)于线上召开。作为年会工作坊之一,自然语言处理研讨会(Natural Language Processing Techniques for Educational Applications Workshop)公布了第六届中文语法错误自动诊断大赛(Chinese Grammatical Error Diagnosis,简称 CGED)比赛结果:外研在线算法团队UNIPUS-flaubert在公认难度最大的一项“语法纠错(Top1)”赛道获得全球冠军。
此外,外研在线算法团队还在“语法纠错(Top3)”、“错误定位(Detection)”两个赛道获得亚军。
CGED是自然语言处理领域的权威赛事,云集了全球最顶尖的教育应用技术团队,包括阿里巴巴、网易有道、哈工大&讯飞联合实验室、新华通讯社、日本东京都立大学、南京⼤学、台湾朝阳科技大学等。
“语法纠错”第一名的含金量有多高?
今年CGED大赛于8月3日正式开赛,比赛方式是由主办方挑选外国人写作的中文句子片段作为赛题,让参赛者通过人工智能算法技术对其中的语法语义错误进行识别,并进行系统性能评估。
为什么说语法纠错的难度最高?因中文语法极为灵活多变,而比赛任务不仅要求参赛系统能够正确地判断中文语句是否有错误,还要判断其错误的类型和位置。在完成正确判断的基础上,进一步要求参赛系统能够理解句意,并进行错误修正。
外研在线算法团队凭借开发iWrite引擎过程中积累的英文语法纠错相关技术,在强手如云的比赛中脱颖而出,取得佳绩。这体现了外研在线在语法纠错领域的深厚积累,在自然语言处理领域出色的技术实力,也印证了算法团队负责开发的iWrite作文智能批阅引擎和语法纠错引擎具备业界领先的技术水准。
创新实验探索算法新路径
外研在线算法团队的比赛思路是:一方面充分借鉴在设计和开发iWrite引擎过程中积累的英文语法纠错相关的技术,一方面着力解决CGED比赛中数据稀疏的问题。
算法团队设计的系统从数据、模型到融合方法都做了大量的探索,其中重要创新如下:
第一、针对中文语法错误诊断领域数据稀疏的问题,团队搜集了不同领域的中文语料,通过在正确的句子上人工引入语法错误的方法生成了6千多万对人工句子对。
这些人工数据不仅通过插入、删除、替换、交换四种随机操作来模拟比赛中的四种错误类型,更通过实现字形相近、读音相近、意思相近、日汉易混词等方法来模拟外国学生可能会犯的具体错误。实验结果表明,这些人工合成的句子对对于提升后续模型的效果具有非常重要的作用。
第二、在识别(Detection)和分类(Identification)⼦任务上,算法团队使用了基于BERT的序列标注模型——“基于序列标注的语法查错模型”。在纠错(Correction Top1 和Correction Top3 )子任务上,团队把基于BERT的序列标注模型,和原本在机器翻译任务上表现出色的BERT-fused NMT模型成功迁移到中⽂语法纠错任务上来。
实验结果表明,通过充分使用BERT,对“语法查错”(Grammar Error Dectection)和“语法纠错”(Grammar Error Correction)中普遍使用的序列标注方法、机器翻译方法进行改造,可以大大缓解数据稀疏(Data Sparsity)问题,明显提升中文语法错误诊断的效果。
行业领先的智能引擎技术&人工智能算法
算法团队在CGED比赛中使用的“基于BERT的序列标注模型做语法纠错”、“基于BERT-fuse模型做语法纠错”、“基于人工合成语料增强机器翻译模型做语法纠错的效果”3项创新技术,已成功应用于iWrite英语写作教学与评阅系统中。
iWrite智能引擎和人工智能算法能够检查学生英语作文中的语法错误,并针对每处错误给出错误解析和修改建议,让学生知其然,更知其所以然,有效地提高自己的英语写作⽔平。
迄今为止,iWrite英语写作教学与评阅系统已经经历了来自超过1900所院校超过1000万篇英语作文的大量检验。
根据外语教学与研究出版社与《中国电化教育》杂志社联合发布的《中国大学生英语写作能力分析报告(2020)》所做的评测,iWrite在纠错效果上,核心指标均领先于同类产品。