学术堂首页 | 文献求助论文范文 | 论文题目 | 参考文献 | 开题报告 | 论文格式 | 摘要提纲 | 论文致谢 | 论文查重 | 论文答辩 | 论文发表 | 期刊杂志 | 论文写作 | 论文PPT
学术堂专业论文学习平台您当前的位置:学术堂 > 语言学论文 > 应用语言学论文

认知诊断在语言测试中的应用(2)

来源:学术堂 作者:韩老师
发布于:2015-12-02 共6268字

  第三,现代统计数学和计算机科学的发展。以项目反应理论等计量技术为基础的认知诊断模型,一般都是比较复杂的,而且实现了相当高度的数学形式化。因此,要对实验数据进行深入分析和对模型中未知参数进行估计,必须有相关统计数学和计算机科学的支持。否则,认知诊断模型仅有学术理论上的认识价值,而不能真正为实际工作服务。

  语言测试的认知诊断涉及语言学科的专业知识,因此,要做好语言测试的认知诊断工作,还离不开语言学科专家的积极参与。

  3. 认知诊断模型及其发展

  根据认知诊断的理论基础,我们可以发现认知诊断技术的核心是将认知心理学、项目反应理论、统计数学结合在一起的认知诊断模型。因此,认知诊断技术的发展很大程度上就是认知诊断模型的发展。认知诊断模型是用来评估学生对一系列粒化技能( finer-grained skills) 掌握状况的潜质变量模型( latent variable model) ( de la Torre 2011) .

  以 Tatsuoka( 1983) 等提出的规则空间模型( Rule Space Methodology) 为基础,测试和计量学家发展了至少 60 多个认知诊断模型,其中较常用的认知诊断模型有融合模型( fusion mod-el) ( Hartz et al. 2002) 、DINA 模型( deterministic input,noisy “and”gate model) ( Junker & Sijts-ma 2001) 、NIDA 模型( noisy inputs,deterministic,“and”gate model) ( Junker & Sijtsma 2001) 、DINO 模型( deterministic input,noisy “or”gate model) ( Templin & Henson 2006) 、GDM 模型( general diagnostic model) ( von Davier 2008) ,以及 G-DINA 模型框架( generalized DINA modelframework) ( de la Torre 2011) .其中 G-DINA 模型框架为以上提到的多个认知诊断模型提供了共同的平台,通过一定的设置,就可以得到相应的模型。换言之,认知诊断模型之间是有共通之处的。

  而认知诊断模型之间存在的差异决定了模型的分类标准及适用范围。认知诊断模型一般有两种分类方法: 一种是非补偿型( non-compensatory) 和补偿型( compensatory) 之间的分类; 一种是简约型( reduced) 和饱和型( saturated) 之间的分类。在非补偿型模型下,试题答对概率以被试掌握该试题所有认知属性为先决条件,掌握部分认知属性答对概率仍为零。在补偿型模型下,试题各认知属性对试题答对概率有着不同的贡献比例,掌握部分认知属性也有一定的答对概率。简约型模型仅包含单一属性参数,不包含多属性间的交互参数。饱和型模型不仅包含所有单一属性参数,还包含了多属性间的交互( interaction) 参数。很明显,非补偿型及简约型模型都不太契合语言技能的特征,而补偿型及饱和型模型则与之比较契合。补偿型模型契合了语言技能的综合性和多元性,饱和型模型则可以比较理想地应对语言技能的抽象性和难区分性。认知诊断模型的发展历程体现了从非补偿型到补偿型,从简约型到饱和型的趋势。表 1 简要归纳了本文涉及的认知诊断模型的类型及其分析软件:
  
  4. 认知诊断在语言测试中的应用

  由于语言技能具有综合和抽象的特征,语言测试的认知诊断对认知诊断模型的要求较高。

  以往对语言测试的认知诊断研究采用的模型大多是非补偿的简约模型,直到最近才应用与语言技能特征相匹配的补偿型或饱和型模型,这也体现了语言测试领域的认知诊断研究正日趋成熟。

  最早对语言测试的认知诊断研究可追溯到 20 世纪 90 年代。Sheehen et al.( 1993) 曾在美国教育考试服务中心( Educational Testing Service,ETS) 发表有关应用规则空间模型诊断美国青少年文本加工技能的报告。Buck et al.( 1997) 则应用规则空间模型对托业( TOEIC) 考试阅读试题的认知属性进行了认知诊断。Buck & Tatsuoka( 1998) 继而应用了同一模型对开放式答题的英语听力试题的认知属性进行了认知诊断。与以上研究采用的认知诊断模型不同,vonDavier( 2008) 应用了 GDM 模型对托福( TOEFL) 的阅读和听力试题的认知属性进行了认知诊断,Jang( 2009) 则应用了融合模型对模拟 TOEFL 考试的 LanguEdge 考试阅读试题的认知属性进行了认知诊断。Lee & Sawaki( 2009) 应用了 GDM 模型、融合模型以及潜在分类模型分别对TOEFL 考试的阅读和听力试题的认知属性进行了认知诊断。Kim( 2015) 以成人二语分班阅读考试为依托,用融合模型进行了认识诊断研究。而放眼国内,目前涉及语言测试的认知诊断研究还不多,蔡艳等( 2011) 应用了属性层次模型对中学生的阅读能力认知属性进行了认知诊断,孟亚茹( 2013) 应用了 G-DINA 模型框架中的饱和模型对大学生听力能力进行了认识诊断,陈慧麟,赵冠芳( 2013) 、陈慧麟,陈劲松( 2013) 则分别应用了 G-DINA 模型框架中的补偿模型和饱和模型对 PISA 阅读测试进行了认知诊断。

  综上所述,对语言测验进行认知诊断是认知诊断研究的一个重要挑战,认知诊断技术的发展促进了语言测试及语言技能的研究,语言测试及语言技能的研究反过来也推动了新型认知诊断模型的开发。

  5. 语言测试中认知诊断的基本流程

  语言测试中的认知诊断有两种类型,第一类是对现有的非诊断性语言测试进行认知诊断评估,第二类是设计诊断性语言测试并对其进行认知诊断评估。这两类评估都有两大阶段,但第一阶段是不同的。第一类评估的第一阶段为根据现有语言测试试题确定认知属性及 Q 矩阵,第二类评估的第一阶段为根据诊断目标确定认知属性及 Q 矩阵并编制语言测试。两类评估的第二阶段是相同的,即选择认知诊断模型,根据测试结果进行诊断评估和分析。

  我们先来看对现有的非诊断性语言测试进行认知诊断。在第一阶段,认知属性的确定方法一般有语言专家确定法、有声思维法( think aloud protocol) 、文献参考法三种。语言专家确定法主要是由语言专家从语言学知识及其语言教学经验的角度出发,对每道试题进行内容分析,定义每道试题的认知属性。有声思维法是指研究者进行前期试测时,要求正在试图完成测试题目的被试报告头脑中的思维过程,或试测后要求被试追述回忆其思维过程。文献参考法主要是回顾以往语言技能方面的研究成果以及参考现有的非诊断性语言测试的教学考试大纲,先确定整个测试所涉及的认知属性,再确定每题的认知属性。在具体操作过程中可以将以上三种方法结合在一起使用,这样定义的认知属性会更加有说服力。在每道试题的认知属性定义好后,测试的认知属性 Q 矩阵就建立起来了。在认知属性 Q 矩阵中,我们用“1”表示“考核该属性”、“0”表示“未考核该属性”.假定该语言测试包含 5 个认知属性,20 道试题,该测试的认知属性 Q 矩阵范例如表 2 所示。对于第二类认知诊断来说,在第一阶段,首先要根据教学或测试大纲确定细化的技能诊断目标,细化的技能诊断目标就是整个测试所涉及的认知属性。接下来要根据细化的技能诊断目标编制认知诊断测试。对于第二类评估来说,认知诊断测试的编制是至关重要的一步,它不仅是实现认知诊断的工具,而且是确定每题认知属性的过程。编制认知诊断测试需要语言专家参与,他们可以在编写试题的同时确定每题的认知属性。在定义好每道试题的认知属性后,可以建立初步的认知属性 Q 矩阵。测试编制完成后还要进行试测,试测中或试测后要对被试进行有声思维或访谈式调查,以验证先前建立的认知属性 Q 矩阵是否合理,如不合理,语言专家可以对初步的认知属性 Q 矩阵作相应调整,从而确立最终的认知属性 Q 矩阵。在认知诊断的第一阶段,第二类评估是优于第一类评估的,这是因为第二类评估中编制的认知诊断测试所包含的认知属性是与教学目标紧密结合的,其在各试题中的分布依据教学目标,有一定的权重分配,而非随意分布,因此其诊断结果对相应技能的培养和教学会有更直接的促进作用。然而,由于现有的认知诊断语言测试数量很少,较难得到大规模的数据,从现有的非认知诊断语言测试中获取认知诊断信息也不失为一种改善教学的途径。

相关标签:
  • 报警平台
  • 网络监察
  • 备案信息
  • 举报中心
  • 传播文明
  • 诚信网站