摘要：开展质量评估是提升自学考试命题质量的重要抓手, 对于提高自学考试人才培养能力、推动高等教育质量的全面提升具有积极意义。在分析现行自学考试命题质量评估体系存在问题的基础上, 提出有针对性的改进策略, 以期促进自学考试命题质量稳步提升。
关键词：自学考试; 命题质量; 评估体系;
作者简介： 仲海宁 (1977—) , 男, 江苏省教育考试院考试命题中心, 副研究员;; 付伟华 (1976—) , 女, 江苏省教育考试院考试命题中心, 助理研究员。
收稿日期：2019-04-10
基金： 第二届江苏省教育考试招生研究重点资助课题“自学考试命题质量监测体系研究” (K-d/2018/05);
Research on the Improvement Strategies of the Test Development Quality Assessment System of Self-taught Higher Education Examination
ZHONG Haining FU Weihua
Jiangsu Provincial Education Examination Authority
Abstract：Quality assessment is an important grip to improve test development quality of Self-taught Higher Education Examination. It not only gives a positive impact on capacity upgrading of talent training, but also promotes the quality of higher education in all aspects. Based on the analysis in the existing problems of the test development quality assessment system, some targeted improvement strategies are put forward in order to realize the steady improvement of Self-taught Higher Education Examination test development.
Keyword：Self-taught Higher Education Examination; test development; assessment system;
Received： 2019-04-10
“发展更加公平更有质量的教育”是2019年《政府工作报告》提出的重要工作任务。自学考试是我国高等教育的一项基本制度, 强化自学考试的质量管理是全面提升高等教育质量的重要一环。自学考试试题试卷是评价考生学业水平的主要载体, 其科学性、公平性、规范性直接决定自学考试的人才培养质量。自学考试的专业覆盖面广, 开考课程数量众多, 截至2018年年底, 全国统考课程的数量为近500门, 全年供卷量近1 000套, 分省命题的省级统考课程多达近万门。为满足大体量、高频次的命题工作需要, 考试机构制定了一整套行之有效的命题技术标准与管理办法;然而, 由于命题管理人员、主考学校和命题、审题教师的理解偏差以及受命题过程中各种不确定性因素的影响, 自学考试试卷及试题质量参差不齐的难题长期困扰着考试机构[1]。为提升命题质量, 教育部考试中心自2004年启动自学考试统考课程命题质量评估工作, 通过开展面向试卷及试题的元评价, 有效地强化了对命题工作的考核评估。
随着评估工作的推进, 考试工作者对于自学考试命题质量评估的目的、作用、原则、内容、流程及其影响因素等方面均进行了深入研究, 取得了较为丰富的研究成果, 其中尤以命题质量评价指标的研究最为充分。在定性指标的开发方面, 余仁胜提出应当从考试标准、试题内容、试卷结构、试卷编制、试题素材5个维度评估自学考试的命题质量[2]。柳博等进一步将试卷特色维度纳入评估指标, 使其成为一个6因素的模型[1]。6维度作为自学考试全国统考课程命题质量评估指标体系的一级指标沿用至今, 并在省级统考课程的质量评估中参照使用。此外, 陈东等提出了以完整性、标准性、引导性3要素为基准的质量评价指标框架[3]。在定量指标的开发方面, 王晓华提出命题质量评估应关注2方面信息, 一是均分、合格率等直接获取的数据, 二是运用经典测量理论计算出的难度以及区分度分布等指标[4]。雷新勇等综合国内外文献后认为应当将效度、信度以及命题对考生自学和社会助学的影响作为自学考试命题的基本质量指标[5]。命题质量评价指标的研究与完善, 对于提升自学考试命题质量起到了积极的推动作用。
质量评估工作的初衷是为了实现试卷质量的统一均衡, 但是评估工作开展15年来, 自学考试部分课程考试标准把握不准确、试卷结构不合理、考试难度不均衡、考核重点不突出的问题依然存在。由于评估体系自身存在的缺陷, 面对试卷中形形色色的质量问题, 传统评估模式越来越显得力不从心。如何进一步更新评估理念、完善评估指标、拓展评估手段、提升评估效果, 是当前自学考试命题质量评估工作亟待解决的课题。
1 自学考试命题质量评估体系问题分析
1.1 投入产出效率低
传统的命题质量评估工作需要大量的时间与人力投入。一方面, 评估的流程较为烦琐。传统的命题质量评估分为准备、实施及反馈3个阶段, 每个阶段均包括多项实施步骤。以评估准备阶段为例, 需要经过4个步骤:筛选参评课程、联系专业委员会、成立专家组以及材料初步审核, 每个步骤又需要开展大量的具体工作。如筛选参评课程时, 不仅要制订评估方案、选择评估课程, 而且需要收集命题材料及考试数据, 并确定评估的方式、时间与地点, 这使得每门课程的评估都需要经历较为漫长的周期。另一方面, 评估的实施高度依赖专家组成员的现场沟通与协调。开展命题质量评估时, 学科专家、命题教师、阅卷教师、学科秘书等专家组成员需要多次集中, 开展集体研判, 以约束评估行为, 控制评估误差。在高校科研与教学压力日趋繁重的今天, 专家组能够全员集中一次已属不易, 更遑论多名专家多次集中。
受制于烦琐的评估流程以及巨大的人力耗费, 考试机构每次只能选取极少数课程开展评估。以2004年开展的首次自学考试命题质量评估为例, 当时确定参评的课程数量为10门, 仅占当年全国统考课程总量的1.4%, 命题质量评估工作的整体投入产出效率极为低下。
1.2 过程性评价匮乏
传统命题质量评估模式高度依赖考试结果, 特别是开展定量分析评估以来, 需要根据考生的考试成绩, 采用难度、信度等质量指标对试题进行分析, 将评估结果反馈给主考学校及命题教师, 因而可以视作是一种终结性评价。自学考试命题环节众多, 包括制订命题计划、选聘和培训命题教师、分组命制试题以及开展试卷审验和考前校对等环节, 每个环节的工作质量都直接影响试卷及试题的最终质量。命题培训不规范、命题教师专业不对口、命题组成员之间沟通不到位、审题教师对质量标准的理解有偏差等都有可能造成试卷的质量出现问题。
由于缺乏面向各命题环节的过程性评价, 传统模式下的命题质量评估虽然能够对试卷的质量问题作出评判, 但未必能够准确判别问题产生的环节与主要的责任人, 极易引发责任分散效应。一旦试卷的质量责任需要全体参与者共同承担时, 评估结论也就丧失了其应有的针对性。
1.3 评估对象不全面
当前自学考试命题质量评估涵盖的评估对象主要有2类:试卷和试题。试卷评价主要评价其题型结构、内容覆盖、试卷规范等方面, 试题评价则主要着眼于认知层次、难度、信度等质量指标。然而, 无论是试卷评价还是试题评价, 归根到底面向的都是人的劳动成果, 因此, 命题质量评估不应当仅仅面向试卷与试题, 而且应当将参与命题的各类人员, 特别是命题教师纳入评估对象。
心理学研究一般是通过职业能力倾向测验和人格测验来测量人的心理潜能和人格特质, 进而预测其在某个领域取得成功的可能性。2019年年初, 江苏省开展的面向自学考试命题教师的人格测验结果显示, 命题质量好的教师与命题质量较差的教师在部分人格特质层面存在显着差异。这表明命题教师的人格类型与其命制的试题质量存在一定的相关性, 某些特定类型的教师并不适合参与命题工作。从这个角度看, 遴选合适的命题教师可能比开展终结性的评估更能起到提升命题质量的效果。另外, 作为一种心理模式, 命题教师个体的人格特质具有不易改变的稳定性。在传统评估模式下, 即便考试机构通过评估向命题教师反馈试题质量存在的问题, 由于命题教师自身恒定的个性特点, 在新一轮的命题工作中, 同样的教师仍有可能重复同样的错误, 这也与长期以来的命题实践经验高度契合。由此可见, 仅仅面向试卷与试题, 而忽视人的评价, 无疑是传统命题质量评估模式的缺陷之一。
1.4 评估时效性不足
作为一种标准参照性测验, 目前自学考试命题主要采取征集题库的工作方式, 每门课程每次命制的平行试卷一般在6套以上, 需要2～3年甚至更长时间才能逐步消化使用完毕。一般情况下, 评估过程中发现的试卷质量问题以及专家组提出的改进建议, 并不能对题库中现有试卷的质量产生立竿见影的提升作用。只有当题库中的卷量低于阈值, 考试机构启动下一轮补充命题工作时, 命题教师才有可能根据评估意见对试卷及试题的质量进行改进。因此对于已经成型的题库而言, 评估结果既没有预警作用, 又缺少即时的补救意义。相反, 对于普通高校招生考试等常模参照性测验而言, 由于其试卷周转速度较快, 每次命制的试卷仅供当年考试使用, 考后开展的命题质量评估对于提升下一年度的命题质量则具有较强的指导作用。
由此可见, 自学考试的命题质量评估工作尽管取得了一定的成效, 但在“评什么”和“怎么评”的问题上, 仍有进一步改进的空间。
2 自学考试命题质量评估体系的改进策略
2.1 开展过程性评价, 切实增强评估工作的时效性
自学考试的试卷质量取决于命题细目表设计、编写试题、调整及格线以及终审验收等关键环节的质量控制[6]。因此, 做好自学考试命题工作, 不仅要开展基于考试结果的终结性评价, 而且要将质量评估工作贯穿于试卷设计、命题与审验的全过程开展实时评估与反馈, 才能最大限度地发现和解决问题, 提升命题质量。
首先, 在评估方式上, 要充分发挥学科秘书、命题教师、审题教师以及校对人员的主动性和积极性, 让各环节的参与者对上一环节的工作质量进行他人评估, 同时对本环节的工作质量进行自我评估, 从而使命题各个环节的参与者既是被评估者, 又成为评估者。一方面, 考试机构可以根据评估结果对各个环节的质量问题及时进行弥补;另一方面, 通过开展自我评估, 也有助于各方以不同的视角审视自身工作, 寻找自身不足, 进而促使其自我提高、自我完善。
其次, 在评估指标的构建上, 要根据各个环节的工作特点, 构建面向不同评价对象的分阶段评价指标体系。要通过开发简化版的评价指标体系, 尽可能压缩评价指标的数量, 以降低评估工作的强度, 增强评价指标的可操作性。
第三, 在评估误差的控制上, 要改变传统的评估观念, 适当允许评估误差的存在。传统的命题质量评估通过大量的专家人力投入以及精准的流程控制, 固然能够最大限度地减少评估误差;然而, 过分追求评估数据的一致性和准确性会造成评估课程数量的减少与评估工作整体效率的降低, 从而导致评估工作的收益不高。
为此, 面对体量巨大的命题任务, 考试机构应当理性看待精确与效率之间的关系, 寻求二者的平衡点, 以有效提升评估课程的覆盖面, 最大限度地提升命题质量。
2.2 强化命题教师遴选质量的评估
教师选聘是自学考试命题组织的关键环节之一, 遴选合适的命题教师对于提升命题质量能够起到事半功倍的效果。心理学研究与命题实践表明, 命题教师的人格特质与其是否胜任命题工作密切相关。为此, 考试机构需要借助成熟的心理学测量工具, 加强面向命题教师心理潜能和人格特质的研究, 筛选出有效的心理学测量指标, 以预测命题教师是否能够高质量地完成命题任务, 减少考试命题工作的试错成本。特别是要加强对优秀命题教师的心理潜能与人格特征的研究, 勾画出优秀命题教师的能力与人格轮廓, 寻找具有共性的心理品质, 为科学遴选命题教师提供强有力的理论依据。
此外, 打通考试机构内部的“信息孤岛”对于提升命题教师遴选质量也十分重要。当前, 包括普通高校招生考试、自学考试、公务员考试在内的各类国家考试均以不同的形式建立了命题教师的“黑名单”, 然而, 由于安全保密的需要, 各类考试的数据无法共享, 无形之中也加大了命题教师遴选的风险, 不利于命题教师的优胜劣汰。如何在确保安全保密的前提下, 打通命题教师工作质量评估数据的“信息孤岛”, 需要各级各类考试机构共同探索更为有效的途径。
2.3 实现评估数据采集与分析的自动化
自学考试命题课程门数众多, 且每个环节的时间非常紧迫, 多则一个月, 少则一两天, 要在较短的时间内完成前置环节的评估, 将评估结果反馈给相关责任人, 这对评估工作的组织管理提出了极高的要求, 建立命题质量评估管理信息系统, 实现数据采集与分析的自动化是一条可行的途径。为此, 考试机构需要:一是梳理面向命题各环节的可操作性的评估流程, 制定清晰、具体的评估步骤, 明确评估流程中各要素和工作人员的关系, 推动过程性评估工作的规范化和标准化。二是采用在线与离线相结合的方式采集评估数据, 其中在线采集的数据主要是命题过程中评估者填写的在线调查问卷。在缺乏网络支持的场景下, 考试机构也可以通过扫描答题卡的方式离线采集评估数据, 以提升数据采集的效率。三是实现数据处理的即时化。通过开发标准化的数据处理流程和评估报告模板, 考试机构可以在开展评估工作的当天出具评估报告, 从而加强命题管理的针对性, 实现面向不同课程、不同环节和不同对象的差异化管理。
参考文献
[1]柳博, 姜月香.自学考试命题质量评估研究[J].中国考试, 2010 (7) :21-27.
[2]余仁胜.开展综合评估保证自考命题质量[J].中国考试, 2004 (12) :41-44.
[3]陈东, 续敏, 吴登俊.高教自考命题质量三要素评价体系的创新研究[J].成人教育, 2010 (4) :35-37.
[4]王晓华.加强试卷考后评估反馈构建自学考试命题质量管理闭环控制体系[J].中国考试, 2006 (9) :25-29.
[5]“基于ISO9000的命题科学化管理流程及质量控制”课题组.论高等教育自学考试命题管理流程和质量控制[J].中国考试, 2010 (12) :33-38.
[6]柳博.自学考试命题质量控制措施刍议[J].中国考试, 2006 (4) :14-17.
