第 1 章 绪论
1.1 研究背景。
随着现代信息技术的快速发展，海量的繁杂数据不断涌入人类生活，尤其是互联网、物联网的应用和新型社交媒体、社交软件的普及以后，新的数据实时产生，而且数据类型也从原来的结构化逐渐发展到以半结构化和非结构化为主，加大了数据存储和处理的难度，使得传统的数据分析在解决问题时往往难以取得理想的效果。在新的信息环境下，如何从海量数据中高效的处理、挖掘有价值的信息已经成为人们关注的焦点，大数据技术应运而生。
2008 年《Nature》杂志设立"大数据"专刊，2011 年 5 月 EMC"云计算相遇大数据"大会正式提出大数据概念，随后 IBM 及麦肯锡等顶级信息机构相继发布大数据研究报告，大数据已经逐步进入人们的视野，成为继云计算、物联网之后信息科学及相关诸多学科的又一研究热点[1].同样，大数据的出现也引起了诸如商业界、科技界、医疗卫生界和政府部门的浓厚兴趣和高度关注，仅在数年之间大数据便已成为全球最为热门的科技焦点，关系到生产生活和社会发展的方方面面，从工业生产、社交网络、电子商务到交通运输、金融投资甚至总统选举无不体现大数据的概念。更有权威学者预言，大数据将渗透到每个行业和业务职能领域，逐渐成为重要的发展因素，关系到人类的生产生活和社会发展，大数据将改变生活[2].但是，同时也有学者指出，大数据的数据异质性、数据规模、实时性、融合性和涉及隐私问题等都需要妥善研究处理才能发展的更好。
大数据时代，政府数据是一笔巨大的财富，也是开启智慧政府的钥匙[3].
智慧政府离不开政府开放数据，而政府开放数据形成的生态圈，将有力推动智慧政府又好又快发展。世界上越来越多的国家已经开始从战略层面认识大数据，在政府治理领域融入大数据的思维[4].2009 年 5 月，美国开放数据门户，正式拉开了全球政府开放数据的大幕。2012 年 3 月，美国奥巴马政府宣布投资 2 亿美元启动"大数据研究和发展计划",这是继 1993 年美国宣布"信息高速公路"计划后的又一次重大科技发展部署。美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。此后，许多国家纷纷跟进，制定开放数据战略或政策，加快了数据开放步伐。经合组织 OECD中的欧洲国家公共管理部门通过政府公共管理机构开支的减少、转移支付的下降及税收的增加来创造了上千亿欧元的潜在经济价值。澳大利亚在 2013 年 8 月初，出台公共服务大数据政策，提出了大数据分析的实践指南，希望通过大数据分析系统提升公共服务质量，增加服务种类，为公共服务提供更好的政策指导。而新加坡政府，多个国际领先企业在当地设立大数据技术研发中心，加速数据分析技术的商业应用。
大数据产业正在成为新的经济增长点，将对未来信息产业格局，甚至是世界发展格局都产生重要影响[5].2015 年 11 月 3 日，在发布的《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》，政府明确提出实施国家大数据战略，超前布局下一代互联网。在政府大数据领域，政务信息急剧增长，信息量巨大，而政府服务方式也在不断创新，从户籍制度改革，到征信体系建设，从不动产登记制度的推进，再到近期加速推行的政策改革，对数据库提出了更高的要求，电子政务已不是用传统的增加软硬件的方式就可以建设完善的，必须加快对政府数据管理模式创新[6].而政府大数据将有效的提高政府公共服务效率和控制运营政府管理的成本，也将促进政府资源开放，推动信息技术与经济发展的交汇融合。正如某信息技术公司总裁所说，利用云计算和大数据技术推动政府治理，真正达到了公开、透明、智慧、便民的目的，可谓一举多得[7].
作为政府大数据发展的主体，政府部门在大力推进相关的研究和应用，而政府数据作为客体是政府大数据的根本所在，这些巨量数据经采集、存储、关联分析后发现新知识、创造新价值，其数据质量更是重中之重，关系到大数据最终的运算结果[8].然而，目前我们对于政府数据质量的评估方法研究虽然有所进展，但是在大数据层次上的质量评价尚显不足，也难以拿出相对完善的质量评价体系对政府大数据进行有效的评估。
1.2 研究意义。
质量评价体系是一种综合标准，是指为了满足规定（或潜在）的要求，由组织机构、职责、程序等构成的可以保证产品、过程或服务质量的有机整体。
而政府大数据的质量评价体系就是为了满足政府大数据的需要，在数据方面对政府数据的质量进行评定、说明和预测。大数据已成为提升政府治理能力的新途径，而质量评价体系将极大提升政府大数据的应用性，为有效分析数据、处理问题提供便利[9].根据估算，数据错误、数据质量问题每年会造成美国工业界经济约 6%的 GDP 损失。如果政府部门缺乏一套先进的政府大数据质量评价体系，仅凭主观感觉或依据个别的质量特征做出笼统的判断，其结论是不能令用户信服的，最终结果必然是对社会、经济、科技等诸多方面的带来不利的影响。
面对大数据时代的来临，集中掌握着资金、人力、政策决策权等社会资源的政府部门当仁不让的扮演着重要角色：从提高国际竞争力、引导产业革命、发展国家战略来讲政府是大数据发展的推动者，从实现政府公共服务职能转型、加速电子政务公开来讲政府又是大数据发展的参与者。因此，政府部门大数据的发展是大数据整体发展的重要组成部分[10].国家信息中心专家委员会主任宁家骏认为，在当前我国经济发展进入新常态的大背景下，对于靠土地、劳动密集型产业等传统产业规划发展的思维正在社会各个层次发生变化，新的世界和社会环境呼唤劳动力自身素质的提升。如何在大数据时代提升政府社会治理和公共服务能力，推进政府职能转型，完善政府服务机制已经成为社会关注的全新课题。
首先，质量评价体系将有助于规范的政府大数据的科学性管理，加速数据信息标准化，引导新的契合信息技术手段的信息基础的建设，改变传统电子政务建设、运营和管理模式，提高政府人员的工作效率，提升大数据时代的政府服务水平。该体系将推动政府管理理念和社会治理模式进步，消灭"信息孤岛",避免国家与地方、政府上下级、不同职能部门之间的数据不一致、甚至是相互冲突的现象发生[11].大大提高政府各部门、各级之间的信息共享与交流，促进政府部门完成层面的机构优化，为后续的政府工作奠定良好的基础。对政府大数据的规范与要求也将促进社会与政府的数据融合和资源整合，完善"一套表"的统计制度， 使企业数据更加清晰、规范，减少基层政府、企业人员的工作负担。可以说，大数据的质量评价体系是建设法治政府、创新政府、廉洁政府和服务型政府，逐步完善政府治理能力现代化的必经之路[12].
其次，为政府大数据构建质量评价体系将推动大数据的发展，也将直接推动对经济发展。以高质量的数据流引领技术流、资金流、人才流，将促进生产组织方式的集约整合，引领经济和社会的深度融合。质量评价体系能够辅助政府大数据揭示传统技术方式难以展现的关联关系，推动社会生产要素的网络化共享，协作化的开发和高效化利用，这些正是释放市场活力的关键之处，可以显著提升经济运行水平和效率，为经济转型提供的新动力[13].高质量的大数据是信息大爆炸时代下新的方法论，更加科学更加严谨的决策依据将大大提高决策的正确性，它的应用也必将会对各行各业的发展产生产业化的变革，持续激发科技创新和商业模式的创新，不断催生新的业态，促进经济发展。
再者，政府大数据质量评价体系可以辅助我国政府在全球信息化快速发展和大数据日渐成为基础性战略资源和的大背景下占得先机[14].工业和信息化部空间研究所所长刘权认为，高质量的大数据是"未来的新石油",甚至将成为重塑国家竞争优势核心资产。该体系促使政府大数据发掘和释放出数据资源的潜在价值，并且在数据规模、质量和应用水平上同步完善，更好的发挥数据资源的战略作用。而高工作效率、协作能力的政府部门的就如同一个思维更敏捷的大脑，极大地提升国家竞争力。除此之外，高水平的质量评价体系会造就大批高素质的大数据人才，培养出工作人员的专业素养，为大数据的整体建设打下人力基础[15].
1.3 研究现状。
1.3.1 国外研究现状分析。
（1）数据质量相关研究。
国外关于数据质量的研究开展较早，已经从不同角度进行了深入研究，通过对相关文献进行阅读和梳理，发现国外关于数据质量的研究主要集中在以下几个方面：①数据质量的基本概念研究。K.T.Huang 等认为数据质量是数据适合使用的程度；C.Cappiello 等认为数据质量相关研究文献中的算法只关心数据的值，忽视了具体的使用过程，因此他们从用户的视角出发，认为数据质量是对特定用户期望的满足程度[16];F.Hermans 等指出数据质量包含四个核心组成部分，即准确性、一致性、适时性和完整性。②数据质量问题的来源分析。D.McGilvray 指出数据仓库中数据质量问题主要来源于数据抽取、数据转化装载和数据应用等阶段；W.H.Inmon 从企业信息化管理的角度出发，指出重复地处理订单、退货、用户投诉等日常的业务行为预示着数据质量问题的存在，问题的根源可能在于流程或职能分配的局限性；R. Singh 等详细阐述了候选数据源不足、数据源的不同时效性等 52 类数据源导致的数据质量问题，数据源的数据分析不足、手动导出的数据质量差等 19 类数据分析过程中的数据质量问题，数据仓库的体系结构、缺少捕获源文件更改等 36 类 ETL 过程中的数据质量问题，以及不完全或错误的需求分析、记录粒度选择不当等 10 类数据建模过程中的数据质量问题[17].③数据质量评估研究。针对不同的评估维度，可将国外数据质量评估研究分为定性研究和定量研究两个方面。定性研究方面，D.Aebi 等将数据质量的评估维度划分为准确性、完整性、一致性和极小性等；E.Rahm 认为应该从更广泛的角度研究数据质量问题，将数据质量的评估维度划分为内在质量、可访问性质量、上下文质量和表达质量，并将每个维度又细化成具体的评估指标[18];B.Piprani 等从准确性、一致性、完整性、精度、可靠性、时间延续性、适时性、唯一性和有效性等维度制订了评价指标，并进行了实证研究。定量研究方面，P.Missier 提出了一个特定领域用户质量处理需求的框架--质量视图，以该视图为指导开展数据处理工作；J. L. Kulikowski 提出了一种多方面数据质量评价方法，使用向量代表数据结构的质量，使其具有可比性，并使用半序线性向量空间选择出最佳数据结构。④数据质量提升技术研究。E. Rahm 等指出数据质量提升技术可分为数据库架构和实例两个层面，并认为单源和多源数据处理都涉及这两个层面；M.Volkovs 等提出连续数据清理框架用于在动态数据和受限环境下提升数据质量；P.Andritsos 等采用信息论工具对数据进行聚类，基于此提出优化数据库结构的模式。
（2）大数据及其质量研究大数据作为当前学术研究的热点，受到了国外学者的高度重视，相关研究文献逐年攀升。通过研读文献，发现国外在大数据的基本理论研究、存储及分析处理技术方面进行了广泛而深入地研究，数据质量问题也日益受到关注。①大数据基本理论研究。主要集中大数据的起源与发展、基本概念、特征、基本架构等方面。Y.Demchenko 等描述了大数据的定义及其"5V"特征，指出了不同科研团体对大数据管理、获取控制和安全的需求情况，并对大数据中非结构化因素等问题提出了建议；D.Boyd 等分别从文化、技术、学术现象、数据分析等方面说明大数据所带来的影响和意义；J.M.Tien 概述了大数据时代的数据采集、数据存取、数据分析和数据应用的基本理论及其改进方法[19].②大数据质量相关研究。
B.Saha 指出当前大型数据库和网络中存在大量的低质量数据，会对数据分析结果产生严重影响；T.Lukoianova 等认为大数据的来源、处理技术、数据收集和科学发现方法的不同，导致大数据存在偏差、模棱两可与不准确等质量问题，详细阐述了"大数据准确性"的概念，并分别从客观性和主观性、诚实与欺骗、信任和难以置信三个主要维度探索大数据的"准确性";I.Taleb 等提出在数据预处理阶段解决大数据质量问题，包括子过程如清洗、整合、过滤和归一化等，并提出了一种结合流程的大数据质量模型来支持数据质量的选择和适应[20].③大数据质量评价及相关标准研究。2014 年联合国统计司和联合国欧洲经济委员会对78 个国家统计局和 28 个国际组织的大数据项目调查显示，超过 2/3 的国家尚未定义大数据质量评估框架，许多国家正积极推动大数据质量框架建设[21].欧盟BLUE-ETS 项目已经开始将大数据的基本框架用于评估二手资料的输入质量；联合国亚太经社会（ESCAP）虽尚未提出大数据质量评估框架，但会对数据的相关性、可获得性、代表性和持续性等数据质量的重要指标进行评估；联合国欧洲经济委员会提出了大数据质量评估的 11 个维度，分别是机构/商业环境、隐私和安全、复杂性、完整性、可用性、时间因素、准确性、连续性、真实性、可获得性和清晰、相关性。
1.3.2 国内研究现状分析。
（1）数据质量研究现状。
国内的数据质量研究逐渐深入，已经取得了较多的研究成果。以"数据质量"为关键词在中国知网数据库中检索，共搜索到 9339 条结果，覆盖社会学、经济学、管理学等多个学科，梳理发现，国内数据质量研究主要集中在数据质量述评研究、数据质量问题研究、数据质量评估研究、数据质量管理和提升策略研究几个方面。①数据质量述评研究。宋美娜、陈孟婕等人介绍了数据质量的起源；郭志懋、侯延湘等人详细地介绍了数据质量的定义、数据质量问题产生的影响[22];周东等人对数据质量的基本理论进行了一定的深化，认为数据质量可以用正确性、准确性、一致性、完整性等特征来描述；宋立荣等人论述了从数据质量到信息质量的发展历程以及二者的区别与联系[23];宋敏、韩京宇等人通过对国内外数据质量研究的综述，明确了数据质量的评估方法和数据质量的提高技术[24].②数据质量问题研究。陈远等人对信息系统数据质量问题产生的原因进行了分析；宋金玉、周芝芬等人将数据质量问题分为单数据源数据质量问题和多数据源数据质量问题两类，并详细分析了 4 种数据质量问题来源，涉及数据录入/更新、测量、简化、数据集成等环节[25];林靖生、张友谊、张蕾等分别探讨了医学、图书情报、统计学等学科领域中的数据质量问题[26].③数据质量评估研究。主要包含数据质量评价指标研究与数据质量评估算法、模型两个方面。文峰等人以基于生命周期的数据质量管理框架为出发点，分析了数据组织过程中的数据质量维度和评价指标；黄武锋、宋丽芳等人分别针对企业信息化和社区信息化建设中的数据质量提出了相应的评价指标体系；李天阳、黄刚、袁满等人提出了基于元数据的数据质量评估模型，重点分析了数据质量评估维度和评估算法[27].④数据质量管理和提升策略研究。李庆阳等人提出了一种面向数据质量管理的 ETL 架构，通过数据分析模型和规则推导引擎生成数据清洗方案，有效地管理数据质量[28];曹建军等人针对数据的采集、变换、存储、审计、清洗和分析等生命周期的各个阶段，分别提出了改善数据质量的方法；肖兵、熊霞等人在对医院信息系统业务数据进行梳理的基础上，提出了提高医疗数据质量的策略；游志青、郑芒英等人通过建设数据质量管理平台，帮助管理者及时检测企业业务系统中的问题数据，降低数据质量问题带来的风险[29].
（2）大数据及其质量研究。
同国外相比，国内的大数据研究和应用尚处于起步阶段，国内文献的研究成果主要集中于大数据述评研究和大数据技术研究，虽然大数据质量相关研究文献较少，但大数据质量问题已经得到了学者们的广泛关注。①大数据述评研究。陶雪娇、方巍等人较详细的介绍了大数据的含义、基本特征、大数据兴起的时代背景[30];涂新莉等人分析了大数据的研究及应用现状，并对国内外大数据处理工具及技术进行了相应的论述；王乾、周世佳等人阐述了大数据思维的重要意义[31];孟小峰、王珊等对大数据带来的机遇和挑战进行了相应分析；冯登国、王璐、刘雅辉、戚建国等人对大数据时代的信息安全和用户隐私问题进行了探讨[32].②大数据技术研究。程学旗等人总结了深度学习、知识计算、社会计算与可视化等技术在大数据分析理解过程中的关键作用，梳理了大数据处理和分析过程中面临的数据、计算和系统等多重复杂性挑战，并提出了相应的对策；杨单、赵梦龙、苏毅娟、张顺龙等人提出了一系列关于大数据聚类、分类、数据分析的算法[33];费仕忆、于富东、程耀东等人探讨了大数据平台构建中面临的数据采集清洗、存储、处理、传输、共享与安全等关键技术，提出了大数据平台的系统架构并开展了实践研究[34].③大数据质量研究。宗威等人从流程、技术和管理的视角分别讨论了大数据时代下企业数据质量的挑战、重要性及应对措施[35];李建中等人指出大数据质量问题产生的原因在于大数据具有规模性大、高速性和多样性等特点；王宏志总结了大数据质量管理的问题与挑战，认为大数据质量管理的挑战主要有计算困难、错误混杂和缺少知识三个方面，并相应地提出了解决方案；黄沈滨等人则从技术的角度探讨了大数据的数据清洗问题，基于 Hadoop 设计并实现了一个大数据云清洗系统，通过 Mapreduce 计算模型检测并修复数据质量问题[36];蔡莉等人提出了大数据质量标准，包含可获得性、可用性、可靠性、相关性、表达质量等 5 个维度，该维度进一步细化出 17 个质量特征和 32 个质量指标，并探讨了大数据质量动态评估的流程；2014 年中国电子技术标准化研究院编制的《大数据标准化白皮书》中，将元数据质量、质量评价和数据溯源三大数据质量问题列为近期急需研制的标准，体现出国家高度重视大数据质量标准研究。
1.4 研究方法和技术路线。
本文的研究方法主要有文献分析法、归纳分析法、比较研究法、实证分析法、综合分析法。
第一是文献分析法。通过中国知网等知识服务平台，搜集有关政府大数据共享、数据质量评价以及电子政务数据分析等相关资料，通过国内外相关文献的阅读，理解大数据的概念及其特征和国际上通用的质量评价体系，丰富相关知识储备，为接下来而研究做好准备。
第二是归纳分析法。归纳的方法就是通过观察客观事实，把这些事实加以分类， 形成系统而全面的认识，然后考察他们之间的关系，从而得出结论。本论文将对政府数据质量评价体系的方法进行总结、梳理，探讨适合中国政府大数据的评价方法。
第三是比较研究法。通过比较分析中国政府部门信息资料共建、共享过程中呈现出来的问题以及大数据本身所具有的优势，有助于认识当前我国政府大数据存在的问题与挑战，从而深入分析构建质量评价需要注意和解决的要点。
第四是实证分析法。建立一个质量评价体系模型，然后针对政府大数据用户发放问卷，根据用户的质量满意度进行数据分析，剔除偏离指标，最终求出各指标权重，和用户质量满意度得分。
第五是采用综合分析法。不仅用主成分方法对政府数据质量进行分析，而且结合诸如我国数据发展水平、中国政治环境等等相关情况进行综合考量。同时，对于不同类型、不同指标的数据进行综合看待，以发现构建适合政府的大数据质量评价的规律。
