第二阶段,在认知属性确定之后,测试学专家要根据所测语言技能的特点,选取适当的认知诊断模型,以确保认知诊断结果的准确性及分析的合理性。由于语言技能具有综合和抽象的特征,对语言测试进行认知诊断,建议采用补偿型或饱和型模型。由于认知诊断模型是建立在项目反应理论框架之下的,是项目反应理论的新发展,因此认知诊断对样本容量的要求相对要高。为了确保认知诊断模型分析的准确性,一般要求样本在 300 人以上,样本大小主要取决于被定义的认知属性数量、试题数量以及计分种类的数量,认知属性、试题数量或计分种类越多,所需要的样本数量就越大。确定认知诊断模型并获得样本数据后,就可以将样本数据连同第一阶段确定的认知属性 Q 矩阵输入相应的认知诊断模型中进行认知诊断分析。在产生分析结果之前,认知诊断分析软件也会提供模型拟合度数据。相对拟合度指标主要有-2 倍最大似然值( -2LL) 、赤池信息量( AIC) 以及贝叶斯信息量( BIC) ,以上三个指标值越小,模型拟合度就越高。一些测试学家( Chen et al. 2013) 也在研究模型的绝对拟合度,但目前还处于待完善阶段。如果模型拟合度不高,就要重新确定认知属性和 Q 矩阵。
认知诊断一般可产生四个方面的分析结果: 认知属性的总体掌握概率、样本的认知属性掌握类型及其分布比例、认知属性的个体掌握概率和基于认知属性的试题分析。
第一,通过认知诊断分析可以得出认知属性在被试样本中的总体掌握概率。表 3 为 5 个认知属性在样本总体中的掌握概率,反映出样本整体对技能 A 的掌握概率最高,对技能 E 的掌握概率最低。也可以理解为,对于样本来说,技能 A 难度最小,技能 E 难度最大。第二,通过认知诊断分析可以发现被试样本的认知潜质分类( latent classification) 及其分布比例。表 4 列出了被试对 5 个认知属性所有可能的 32 个掌握类型及其分布比例。表 4 中代表认知潜质类型的 5 位数字从左至右分别代表技能 A、技能 B、技能 C、技能 D、技能 E 等 5 个认知属性。从表 4 中可以发现分布比例最大的认知潜质类型为全部掌握( “11111”) ,另外还有 3 种认知潜质类型的分布比例也较大,分别为掌握技能 A、技能 B、技能D( “ 11010” ) 类型、全不掌握 ( “ 00000 ” ) 类型以及掌握技能 A、技能 B、技能 C、技能 E( “11101”) 类型,其他认知潜质类型的比例都较低。第三,通过认知诊断分析可以得出每个被试对于每个认知属性的掌握概率。表 5 列出了样本中 6 位被试对于每个认知属性的掌握概率。认知属性的个体掌握概率也可理解成个体被试的认知属性得分。第四,通过认知诊断分析可以得出每一道试题在不同认知属性掌握状况下及在猜测状况下的答对概率。表 6 列出一道具有三个认知属性( 技能 A、技能 B、技能 C) 的试题在各种掌握状况下的答对概率。各种掌握状况下的答对概率也体现了该试题在各种掌握状况下的难度,某种掌握状况下的答对概率越高,在这种掌握状况下该题的难度就越低。此题是在饱和模型下分析的,故对认知属性间的交互组合效应也加以分析,认知属性间的交互性关系用“×”来表示。根据表 6,我们可以发现该题的猜测答对概率小于掌握单个技能时的答对概率,更小于掌握多个技能时的答对概率,且掌握两个技能时的答对概率小于掌握所有三个技能时的答对概率,说明此试题没有明显的问题。否则此试题的内容或认知属性的定义可能存在问题,需要修改或调整。
认知诊断分析的结果可以反馈给语言学家、语言测试设计者、语言教师和学生,以促进语言学理论、测试质量、教学方法、学习动力方面的进一步完善。语言测试中认知诊断的基本流程可以用图 1 进行归纳,详见下图。
6. 认知诊断应用于语言测试的意义
从以上对认知诊断的介绍中,不难发现认知诊断应用于语言测试的意义。认知诊断在语言测试中的应用对语言及语言测试的理论研究、语言测试的设计、语言教学、语言学习都具有重要的意义。在语言测试中应用的意义可归纳如下:
第一,认知诊断理论在语言测试中的应用不仅可以促进语言测试研究向新的阶段发展,还可以促进语言能力和技能研究等本体语言学领域的发展; 第二,语言测试的设计者可以通过认知诊断来提高语言测试的效度,提高每道试题的质量,降低猜题概率; 第三,语言教师可以通过认知诊断调整教学方案和教学方法,加强对掌握概率较低语言技能的教学,了解学生的长处和弱点,进而对学生进行个性化辅导; 第四,通过认知诊断,可以对考生认知属性的掌握情况赋予分数,建立新型考分报道机制,作为传统考分报道机制的补充,使考生不仅能了解自己的总分和子测试( subtest) 分数,而且还能了解自己各个语言技能的得分,从而可以在较弱的技能上加强学习和操练。
7. 结语
认知诊断在语言测试中的应用作为语言测试领域的一个新兴课题,正受到越来越多语言测试研究者的重视,2013 年 7 月召开的“第 35 届国际语言测试大会”( Language Testing Re-search Colloquium) 和 2014 年 5 月召开的“第二届全国外语测试学术研讨会”也将认知诊断列为议题之一。认知诊断在语言测试中的应用是一个跨学科的课题,不仅涉及语言学、测试学、统计学,近两年来还跨越到了计算机技术领域,尝试开发基于认知诊断的计算机自适应语言测试系统( CD-CALT) .总而言之,认知诊断在语言测试中的应用价值正不断被开发,其发展空间将会越来越广阔。