（3）县域基础教育政策评估体系的理论构建县域基础教育政策的理论评估体系 X（1）,是笔者在依据县域基础教育政策的结构，并参阅国内外政策评估研究的成果构建的，具有较强的主观色彩。因此，有必要通过对理论指标的重要程度进行分析，来进行实证筛选，以增强评估指标的科学性、合理性和可操作性。2.县域基础教育政策评估指标的实证筛选笔者将理论筛选的指标制成专家问卷，将指标的重要程度分为很重要、重要、一般、次要、很次要五个等级，并分别赋分为 5 分、4 分、3 分、2 分、1 分。通过对回收的专家问卷的统计分析，删除平均分低于 3 分的评估指标，（如表 4-2）保留了其中的 29 个评估指标，构成了县域基础教育政策评估第二轮评估体系 X（2）.3.县域基础教育评估指标体系的完善近些年来，教育公平作为突出的社会问题，引起了政府和社会各界的高度重视。2010年 7 月 29 日国务院印发的《国家中长期教育改革和发展规划纲要（2010-2020 年）》提出“把促进公平作为国家的基本教育政策”,教育公平成为国家教育政策的价值取向和教育改革永恒的价值追求。教育政策所体现的公平是指某项教育政策的执行导致的与该项政策有关的资源、利益及成本分配的公平程度。教育政策的公平性有水平公平和垂直公平之分。
水平公平体现在县域层面上是指义务教育的均衡发展，即同一县域内的人要享受同样的待遇，可通过物质资源（生均预算内教育经费城乡均衡发展程度）和人力资源（专任教师生师比城乡差距）两个方面加以评估。垂直公平则指，对于不同阶段、不同需要的人的要求应该是多元的，越是贫困和处境不利的儿童或地区，越应该给予政策的支持，从一定意义上来说，这也是社会利益博弈的结果。因此，选择了义务教育阶段择校生比例、中考平均成绩标准差、残疾儿童接受教育比例三个因素对教育政策的垂直公平进行监测和评估。
党的十八大提出：以改善民生为出发点和落脚点，进一步强化政府公共服务职能，加快健全基本公共服务体系，建设人民满意的服务型政府。“服务型政府的理念”不断在我国得到倡导和实践。公众开始打破单向接受政策的局面，参与到政策决策中来。在此背景下，“党中央国务院要求，在政府职能转变的过程中，要建立健全决策权、执行权、监督权既相互制约又相互协调的权力结构和运行机制，形成权责一致、分工合理、决策科学、执行顺畅、监督有力的行政管理体制。确立教育督导的法律地位是建立健全教育决策、执行、监督相互协调的行政管理体制的重要举措”.政府需要在建立专业的权威机构来验证其教育政策的成效来应答公众“问责”的同时，还必须关注公众的满意度、倾听公众声音，以保证整个国家教育利益最大程度的实现。因此，构建一个引入公众参与的教育政策评估体系成为政府重塑形象的一种呼唤，是公共行政民主理念的必然趋势，也是构建服务型政府的题中之义。公众的满意度可以从三方面加以评估：一是学生满意度，主要测定学生对学校的教育活动及其效果的满意程度；二是教师满意度，测定作为一线教育工作者的教师对个体待遇、发展的满意度；三是社会满意度，主要测定公民对教育提供的各项服务的满意情况。
综上所述，在县域基础教育政策评估第二轮评估体系 X（2）的基础上增加 2 个目标层，9 项指标，进一步进行了专家问卷调查，各项指标得分均高于 3 分。构成了最终的县域基础教育政策评估体系 X（3）.
（二）县域基础教育政策评估指标排序及权重分析
本研究拟采用层次分析法（AHP 法）确定县域教育政策评估指标体系中各指标的权重。
1.层次分析法基本原理层次分析法（AHP,Analytic Hierarchy Process），又称多层次权重解析方法，是美国着名的运筹学家萨蒂（T. L. Saaty）教授于 20 世纪 70 年代初期提出的。该方法是一种多准则决策办法，既包含定量分析，又涵盖定性分析，能够将系统、复杂的思维数学化，将人们的主观判断定量化，有效地测度决策者的判断。AHP 法首先把问题层次化、条理化，按照系统本质属性和内在联系，将问题分解成不同层次，构成一个多层次的分析结构模型。
（1）建立递阶层次结构运用 AHP 法进行决策分析时，首先把问题条理化，将其进行分解，形成一个层次递阶的模型。在此模型中，复杂的问题被分解为若干元素的组成部分。系统中的元素之间，具有相互联系和隶属关系，具有相同属性的元素归为同一层次，同一层次的元素既隶属于上一层次的对应元素，同时又作为准则，支配下一层次的元素。处于最上面的层次通常只有一个元素，中间层的元素一般是准则层和子准则层，最底层一般是方案层。[37]
县域基础教育政策评估指标体系，分为四层，第一层为县域基础教育政策这一总目标 A,第二层包括教育经费政策、教育质量政策、教师政策、教育公平、满意度共 5 项一级指标，第三层为教育投入、教育经费支出、素质教育实施情况、教育发展、课程政策、教师要求政策、教师待遇政策、教师管理政策、义务教育均衡发展、各级教育公平、学生满意度、教师满意度、社会满意度共 13 项指标，每个二级指标下又包含若子指标。则整个县域基础教育政策评估指标体系是总的预定目标，第二层教育经费等 5 个指标属于准则层；第三层的教育投入等 13 个指标属于子准则层；第四层的县级政府教育拨款占财政收入的百分比等 37个指标属于方案层。我国县域基础教育政策的层次结构模型如图 4-2 所示：（2）建立两两比较的判断矩阵判断矩阵表示针对上一层次元素，本层次与之有关元素之间相对重要性的比较，判断矩阵是层次分析法的特色，也是进行各要素相对重要度计算的重要依据，一般取如下形式：判断矩阵中的 bij是专家根据直觉判断、经验、专业知识、资料数据经过反复研究加以确定的。专家在运用层次分析法进行要素重要度判断的过程中，要保持思维的一致性。矩阵中的 bij应满足下述三条关系式。bii=1bji=1/bijbij=bik/bjk（i,j,k=1,2,…n）
在层次分析法中，为了使以主观判断为主的定性分析定量化，关键在于采用定量描述的方法来确定任意两个方案对于同一准则的相对优越程度。一般对单一准则来说，两个方案进行比较总能判断出优劣，萨迪等建议引用数字 1~9 及其倒数作为标度，对不同情况的评比给出数量标度。表 3-5 列出了 1~9 标度的含义。判断矩阵中指标的数据可经由地方教育统计年鉴、调研数据、政府工作报告或综合权衡相关领域的专家意见得出。本研究选定一些对教育政策特别是对政策评估有一定认识和研究的专家组成专家组开展了调查。首先向国内一定数量的专家发放问卷，问卷收回后，根据专家的打分表，对相关指标进行加权处理，构造综合的判断矩阵，并计算矩阵的最大特征根。
（3）计算判断矩阵的最大特征向量求比较判断矩阵的最大特征根及其对应的特征向量，将特征向量归一化后即为某一层有关元素对上一层相关元素的权重值，最常用的方法是和积法和方根法。
①和积法首先将 B 的元素按列归一化，即求：1ijnijkbb=（i=1,2,…，n）然后将归一化后的各列相加；最后将相加后的向量除以 n 即得权重向量，即：i111Wnijnjkjkbnb=== （i=1,2,…，n）②方根法首先将 B 的元素按行相乘得一新向量；然后将新向量的每一个分量开 n 次方；最后将所得向量归一化即为权重向量。
（4）一致性检验由于客观事物的复杂性和人们主观认识的多样性，在同一准则下对不同元素的相对重要程度进行准确判断是不太可能的，但要求判断矩阵具有大体上的一致性却是应该的，因此需要对构造的判断矩阵进行一致性检验。T. L. Saaty 等人定义1nCInl -=-为一致性检验指标。一致性指标 CI 的值越大，表明判断矩阵偏离完全一致性的程度越大，CI 的值越小，表明判断矩阵越接近于完全一致性。一般判断矩阵的阶数 n 越大，人为造成的偏离完全一致性指标 CI 值便越大；n 越小，人为造成的偏离完全一致性指标 CI 的值便越小。
对于多阶判断矩阵，引入平均随机一致性指标 RI（Random Index），下表给出了 1-10阶正反矩阵计算 1000 次得到的平均随机一致性指标。当 n<3 时，判断矩阵永远具有完全一致性。判断矩阵一致性指标 CI 与同阶平均随机一致性指标 RI 之比成为随机一致性比率 CR（Consistency Ratio）。CICRRI=当 CR<0.10 时，便认为判断矩阵具有可以接受的一致性。当 CR≥0.10 时，就需要调整和修正判断矩阵，使其满足 CR<0.10,从而具有满意的一致性。
（三）MATLAB 计算机编程
根据层次分析法的基本原理，在具体计算过程中，由于指标体系庞大，计算难度较大，为了计算方便，借助 MATLAB 语言工具，编制一套适用于层次分析法的程序。
MATLAB 意为矩阵实验室（Matrix Laboratory），具有强大的数值运算功能，它是基于一种黑箱操作的方式，提供了数量众多的工具箱，可以进行专业的文字处理，可视化建模仿真和实时控制。MATLAB 的基本数据单位是矩阵，其语言被称为演算纸式的语言，编程风格与平时公式的书写习惯类似，因此用 MATLAB 来实现综合评价比用 C,Mathematica等语言具有更强的优越性。
根据层次分析法的原理和步骤，利用 MATLAB 语言工具，编制一套适用于层次分析法的程序，程序包括两个步骤，第一步是计算矩阵最大特征向量，第二步是针对求出的最大特征向量进行一致性检验，根据运行结果 CI 判断一致性检验是否通过。
（四）结果分析
1.层次单排序及一致性检验根据回收的专家问卷，可以得到县域基础教育政策评估结构模型中的领域层和指标层的两两判断矩阵，再通过 MATLAB 计算得到各自的权向量，并对其进行一致性检验。结果如下所示：
（1）相对与总目标而言，一级指标之间的判断矩阵 A-B（见表 3-7）：（2）相对于一级指标而言，二级指标之间的判断矩阵 Bi-Cj（其中表 3-8 是相对于教育经费政策判断矩阵，表 3-9 是相对于教育质量政策判断矩阵，表 3-10 是相对于教师政策判断矩阵，表 3-11 是相对于教育公平判断矩阵，表 3-12 是相对于满意度判断矩阵）2.层次总排序通过各单层排序权数结果，可以计算出整体的排序，即各三级指标在总体的县域基础教育政策评估指标中的权数。其计算公式为：ij A B Bi Cj Ci CnjW W W W- - -= 各指标的权重的计算结果详见下表：
（五）政策评估指标体系的应用建立起县域基础教育政策的评估指标体系之后，就可以对某县的基础教育政策进行评估了。指标体系的应用就是让评估人员根据搜集的信息对各项指标进行评分，即要实施分层次的优度评分。由于评估对象是具体的实际的政策过程和政策结果，各项评分也都只和该具体政策的应然状态相比较，而不与政策评估体系的其他方面相干扰。因此，评估指标体系中各项指标无论权重大小，优度满分是相同的。
通常每个指标的优度评分采用百分制，定性分析的临界分值为 60 分，那么评估人员应在定性判断的基础上对具体政策在各项指标方面完成的满意度进行量化评分。
1.运用指标体系评估某县域基础教育政策的某个次级指标时，该指标的得分均值可以反映此政策在这个方面的效果和公众的接受程度。得分均值越大，表明政策在这个方面做得越好，越能得到公众的认可，此项政策在这一方面不需要改变便可以继续稳定实施；相反，该指标的得分越低，证明此项政策在这一方面存在的问题越大、越多，必须找出问题的症结所在并加以调整才能保证政策整体的稳步实施。
2.运用指标体系评估某项政策整体（或一级指标）时，需要将下属的同级指标得分均值与权重综合考虑，得出总分，即：S 越大，证明该政策（或一级指标）的整体效果越好，受到公众的阻力越小，继续实施的可能性和必要性也越大；反之，必须从政策整体角度作出反思和改变。
