第三章 物理师范生信息素养指标实证检验
一、实证检验问卷预测的形成与发放。
调查问卷是收集调查数据的一种主要方式,问卷的设计直接影响到被调查者的回答水平。因此,调查问卷的设计要有系统的结构,并且问卷的编写要遵循一定的原则。
(一)初测问卷的结构。
实证检验初测问卷主要包括三个部分,分别是指导语、被调查者个人信息和测试题。
指导语部分要阐明测量者的身份,测量的目的,测量的原因,及测量的内容。语言要求简介易懂,目的明确,并注明致谢。
个人信息部分要求被调查者填入适当的个人信息。该部分的编写分为两种,一种是填写被调查者姓名,另一种是不记名测试。本研究采用不记名测试的方式,以求被测能够真实客观的评价自己的信息素养水平。在个人信息中,要求被测填入性别、年级、学历水平及专业方向,用以分析不同条件下被试的信息素养差异。
主体部分的测试问题,相对于信息素养指标体系而形成,根据信息意识、信息知识、信息能力和信息道德四个方面设计,以期全面了解物理师范生信息素养水平。单选题采用内部一致性较好的李克特四点量表对被试进行信息素养测量。选项的设计并没有直接采用"非常同意"这种简单的形式,以防止学生不了解题目的具体要求而随意作答。每个选项中,都对待测的问题进行了比较具体的阐述,不同的程度对应的是"非常同意"、"比较同意"、"不十分同意"、"非常不同意"4 种态度形式。A、B、C、D 四个选项分别对应4 分、3 分、2 分、1 分,总计分数越多说明该学生信息素养越高。
在主体试题部分还包括多选题、主观题和作图题。利用多选的方式,对于被试有关于信息素养的了解程度进行测量。主观题结合客观题,全面的测量被试的信息素养。
(二)初测问卷的形成与发放。
根据问卷结构设计的要求,以及基于以上问卷编制的原则,形成了预测量的测量问卷。
在问卷中,将测试问题按信息素养类别分类,以使被试能够清晰明确测试的目的,客观审慎的阐述自我信息素养水平。
预测时发放了 101 份问卷,回收问卷为 98 份,有效问卷为 95 份。测量的对象包括物理专业、生物专业、化学专业、小学教育专业及信息与计算科学专业的大三、大四本科生。
二、实证检验问卷预测的项目分析。
在问卷的编制过程中,预测是检验测量题目是否适切的一个重要程序,主要目的是了解测试题目的基本性质,确认量表的适用程度,同时,在必要时需对测试内容进行调整与修改。因此,在测试之前,需要对测试题目或量表进行项目分析。此外,为了掌握测量的稳定性,多数研究者在预测阶段会进行信度及效度分析,以作为题目修改的依据。本研究利用 spss18.0 汉化版软件对预测的 95 份数据进行检验。
(一)遗漏值及描述性检验。
遗漏值评估法主要目的是否全部回答了问卷的所有问题,是否存在抗拒或难以回答的情况。描述性检验利用各个题目的描述统计量以诊断题目的优劣。其中包括平均值检验、标准差检验及偏态及峰度的检验等。
通过分析可以得出结果,全部的 95 名受试者 42 题没有产生遗漏,说明任何题目都没有对被试造成难以回答或抗拒的情况。
根据描述性统计检验,量表各项目描述统计数据显示题目的基本特性,过高或过低的观察值代表着该测验题目鉴别度不足的情况。通过分析,第 9 题及 17 题的项目平均数较低,标准差以第 9 题、第 15 题、第 17 题、第 24 题及第 35 题较低,说明这些试题可能存在鉴别度低的情况。
除了以上的变异量数,同时用偏态与峰度描述数据的分布特性。第 1 题、第 8 题、第15 题、第 18 题、第 20 题、第 33 题、第 34 题、第 35 题、第 37 题及第 44 题偏态系数的绝对值较大,偏态明显。通过峰度统计分析得出,第 15 题峰度系数为 3.169,表示该题偏离正态分布较明显。
通过以上描述统计分析,第 15 题与第 33 题鉴别度较低,应首先予以修改,其他较差者留待最后统整讨论。
(二)极端组比较。
第二步,利用极端组比较的方法进一步进行项目鉴别度的比较。极端组比较是利用被试在各题的通过率差异表示判断的一种统计方法。在全体 95 人被试中,取全部量表总分最低值与最高值的分别 27%为极端组,进行平均数差异检验。分析结果显示,t 检验未达0.05 显着性水平的有 1 题、3 题、8 题、12 题、13 题、14 题、20 题、25 题、33 题、37题及 39 题,表示这些题目无法鉴别高低分者,鉴别度较差,有待修改与完善。
(三)同质性检验。
同质性检验是针对试题内部同质性或因素负荷进行讨论的分析方法,同一组试题,由于在测量同一种属性,因此试题间应具有高相关性。通过进行因素分析,全量表的内部一致性较高,内部一致性系数为 0.772,显示出量表项目具有一定的同质性。未达到同质性检验标注的有第 3 题,指标不够理想的有第 1 题、第 8 题、第 13 题、第 20 题、第 37 题及第 39 题共 6 题。这些题目显示出与全量表同质性较差,应考虑修改或予以删除。
(四)项目分析综合评判。
通过以上六个项目的分析进行综合评判,各试题具体情况如表 3-1 所示。六项指标中,有 4 项不合格的是第 33 题,有 3 项不合格的有第 1 题、第 8 题和第 20 题,2 项不合格的包括第 3 题、第 12 题、第 13 题、第 14 题、第 18 题、第 37 题和第 39 题 7 个项目。通过项目分析综合评判,检验影响整体量表统计指标的个别题目,甄别出题目的答题率和鉴别度,并进行再次修改。
三、测量问卷的最终形成。
(一)二次测量问卷的发放与项目分析。
通过预测的项目分析,可以发现其中有 11 个题的分析结果较差,因此,对这 11 个题进行修改,并进行小样本的二次测量。二次测量的被试为物理专业本科生,问卷发放 30份,回收 26 份,其中有效数据 26 份。
经过分析二次测量的数据,项目分析得出结果,第 9 题与第 32 题分别有 2 项指标不十分符合要求,分辨率较低,但是由于该题测试内容较为敏感,学生回答的真实性有待考察,因此,题目予以保留,为具体分析学生该两项指标的程度作为依据。
(二)信度检验。
项目分析是检验测验量表个别题目的可靠程度及测验的鉴别程度,而信度分析的目的是评估量表整体的可靠性程度。"信度就是指调查测量的可靠性程度,它表明测量结果的一致性或这说其稳定性。"信度估计的方法包括折半信度、再测信度、内部一致性信度、复本信度和评分者间信度等。本研究采用内部一致性信度,从量表的内在一致性进行检验。
1.初次测量信度分析信度测量是利用SPSS18.0软件进行信度估计,采用内部一致性信度法,通过计算Cronbach's α 系数,得出题目间的相关程度,通过α 信度系数衡量问卷的信度。初次测量的Cronbach's α 系数通过计算为0.772,如表3-2.α 信度系数在0.7到0.8之前,表明量表有较好的信度,但是题目还需要进行修改。
2.二次测量信度分析。
本研究的指标体系分为四个维度,问卷的试题也是在这四个维度的基础上建立的,因此在二次测量的基础上,对问卷的每个维度进行信度分析,以争取每个维度都有较高的信度。维度一是信息意识的相关试题,同11题。采用内部一致性信度法,计算Cronbach's α系数,为0.875.
第二个维度为信息知识,其中本维度包括9个试题,其Cronbach's α 系数,为0.838.
维度三测量的是信息能力这一维度,共12个试题,其Cronbach's α 系数,为0.861.
第四个维度测量的是信息道德,共10题,Cronbach's α 系数,为0.867.
四个维度的Cronbach's α 系数均大于0.8,说明每个维度都有很好的内部一致性。
问卷整体的内部一致性也同样重要,通过SPSS计算得出问卷整体的Cronbach's α 系数,为0.960,如表3-7.α 系数大于0.9,表明问卷的信度很好。量表的信度与误差有着密切的关系,测量误差来源于多种因素:被试因素(其中包括被试的健康状态、测量时注意力及作答态度等);主试因素(其中包括测验程序、问卷的暗示及打分主观性等);测验的环境因素(客观环境如天气、噪音等的影响)、测验内容因素(试题抽样、内部一致性及题数等)。要提高量表的可靠性,降低测量误差,需要综合的从各方面进行协调调整,本研究由于客观条件的限制,对于测量误差不可避免,对于量表的信度会有一定程度的影响。
(三)效度检验。
效度,"指的是测量的正确性程度,它表示测验或者其他测量工具真正能够测得其所计划测量的构念之程度,测量的结果越好,表示测量的结果越能显现它所测量内容的真正特征。"3效度是问卷或量表测量非常重要的一个要求,一个测验如果没有效度,不论它有任何要件,都不能发挥它的测量功能。因此,无论采用何种测验方式,都必须审慎的进行效度评估。效度通常分为内容效度、结构效度、效标关联效度三种,本研究对测试量表采用内容效度和结构效度进行效度分析。
1.内容效度。
内容效度主要是测量量表的内部一致性。内容效度检验是利用每个维度一级指标相关系数、一级指标与总分的相关系数进行检验,检验结果如表3-8.结果显示,各个维度间相关系数及与总分相关系数均达到显着性水平。
2.结构效度结构效度采用因素分析法,其中共享因素的抽取利用主轴因子分解的方法,对42个试题进行验证性因素分析,结果如表3-9.KMO量数表明变量间相同因素的量,KMO值越大,更加适合做因素分析。表中KMO=0.606,大于0.5,表示可以做因素分析,说明问卷具有结构效度。通过指标体系的建立及信度、效度的检验,形成了信度、效度良好的物理师范生信息素养指标体系,依据该信息素养指标体系构建物理师范生信息素养问卷,如附录三。