第 1 章 绪论
1.1 选题背景
大数据概念于近两、三年真正兴起，并逐渐为人们所知到和重视，但早在 20 世纪 60 年代，企业在大型机上部署财务、银行等关键应用系统的时候，依靠磁盘、磁带和光盘等存储介质存储其大量数据时，“大数据”一词便已经产生，到 20 世界 90 年代数据仓库之父比尔·恩门又再次提及“大数据”一词[1].
随着新兴信息技术的不断涌现和大量基于信息和网络的应用的出现，无论在教育、医疗还是环境等方面都有着数据的存在，除了传统的短信电话信息产生的数据，网络聊天数据之外，公共交通电子化、办公管理网络化等许多方面都有这数据的存在，我们的生活、工作、社会发展的方方面面都伴随着数据的影响。
伴随着信息技术的不断发展，移动网络、大型局域网络的普及、手机、平板电脑等各类移动终端应用的广泛化，移动计算、物联网、云计算等一系列新兴信息技术的飞速发展下，各类虚拟服务、社交网络、协同创作等新型应用模式不断扩展着人类利用信息并创造信息的领域和方法，随着“第三次工业革命”设想的提出和随之产生的“创客”运动，全面基于网络和信息的全新的创造和生产模式即将到来，人们正一步步走向“大数据”时代。
根据国际数据公司（IDC）的统计和研究，全球被创建和复制的数据量将按照摩尔定律增长，其具体增长情况如图 1.1 所示。伴随着巨大的数据量，随着而来的是数据的多样性和复杂度的急剧增加，而仅 15%的数据为结构化数据就足以说明问题。面临这些已经到来或即将到来的困难，IT 专业人士们用“Big Data”这一曾被提及过的词来形容这些问题。“大数据”这个词从《科学》杂志发表文章“Big Data:Science in the Petabyte Era”开始广泛传播[1],到 2011 年 5 月，EMC 在以“云计算相遇大数据”为主题的 EMC World 2011会议中提出了 Big Data 的概念，至此，大数据开始风靡，根据相关统计，在2011 年 6 月 IDC 的研究报告《从混沌中提取价值》之后，“大数据”这一关键词在 google 中的搜索量不断上升[1],毫无疑问，大数据时代已经到来。
1.2 本文研究意义和目的
伴随着“第二次工业革命”的日薄西山，“第三次工业革命”的呼声越来越大，创客运动和新的商业体系所带来的信息量和数据量也越来越大，“大数据”的时代随之到来，基于 Hadoop 等的方案为大数据存储和处理提供了高效、安全且经济的可靠保障，在云计算等技术的迅速发展下，其隐含的巨大的社会、经济、科研价值，已引起各行各业的高度重视，如何有效组织和应用大数据，是人们在关注社会经济和科学研究的时候所必须去考虑和研究的，故此，大数据与新型管理模式的结合也有重要意义：
（1）有利于企业在新时期管理上的变革
如何将数据转换成产品将是未来公司和人们所研究的主流方向，成功将属于能将此变为现实的人们。在大数据时代下，如何分享数据、如何收集整合数据，分析出完整数据，以得出最可靠的结果，以便企业从中获取最有价值的信息，从而改善经营管理。
传统的层级管理模式随着“第三次工业革命”的进行将要逐渐向扁平化的趋势改变，逐层收集，逐层汇总，逐层分析上报的信息系统将不能满足管理上改革的要求，随着信息技术的发展，管理模式也在不断变革，其管理复杂度正不断加大，其中大量的信息共享和汇总分析是必然的，那么为了解决这一大数据的问题，“大数据”处理无疑给了我们一条很好的出路。通过云计算及相关技术，“弹性”、“通用”和“积木化”的技术思想得以应用，使得系统平台可以提供延展性更好的服务，在企业由于规模的变大，管理和业务模块的变化时，系统平台可以给予良好的支撑。
（2）为企业融入“大数据”时代提供技术支撑
随着社会信息化的发展，大型局域网络、移动网络的普及，每个人所拥有的终端越来越多，随着个人电脑和手机移动终端的普及，平板电脑的使用数量的逐渐增多，以及各种智能终端产生的数据信息，“大数据”时代，即便只是一个简单的数据共享也会给人们造成很大的困扰。在新工业革命的新的管理理念下，最基本的便是数据的及时共享、通过信息网络及时的汇总和分析信息得出结论，使得管理更加快捷且具有效率，但是大量的数据处理使会得基础设施的成本变高，系统维护也会越发困难，数据的储存也是很难解决的一点，面对这些困难，云计算这一基于大数据处理的技术给了我们很好的解决方案。由于大量硬件资源集中而成的超级计算机的存在，企业在实现管理和服务创意上可以有无尽的资源可以驱动，通过信息的及时共享，及对海量数据信息的分析，企业或机构可以通过对信息的挖掘获取其最大价值，从而制定相关对策，这点正是扁平化管理模式的关键所在，即决策来源与更多更广泛的人而不再是集中的那么几个人，以使之更有效率。
（3）有利于信息系统构架的转变
现代企业所需面对的用户和数据量与日俱增，即便只是一个小企业，它所需面对的业务系统的并发访问流量、数据存储和管理压力或者是系统构建的复杂度都将会远远超过以前，大数据问题日益凸显出来。多数企业在信息系统构建初期并不会有太长远的规划，随着业务流程的改变，业务目标的转变，企业规模的扩大，信息技术的进步，原来的系统往往无法满足企业发展的需求，这就注定企业需要一种全新的，能够提供大存储能力，大规模处理能力和大规模通信，能够实现多模式的海量数据实时共享的平台的支持[5],使之能够使用与快速变化的功能目标、系统环境和应用配置。
不同的系统构建往往是针对不同的应用，故而没有一种结构会始终是最优的选择，而在大数据处理技术中，云计算平台提供了一种组织机制，在这种机制下信息系统结构能够快速做出调整，最大程度地发挥出信息系统的资源并体现出其价值所在。
（4）加快企业进行“第三次工业革命”的进程
大数据时代，企业所拥有的大数据规模和其对数据的解释处理能力将是企业竞争力的一个重要体现。随着时代的发展，为了面对数量庞大到可能无法估量，数据结构越来越复杂，数据关联度越来越高的大数据时代，企业必须去发展适合的管理模式去适应日益强烈的全球化竞争。信息传播的速度越来越迅速，要高效、低成本的去发展，传统的层级管理显然无法适应。为了决策的精准和迅速，对于现有数据的整合和分析成了关键所在，通过新的管理模式分享信息，以最短的时间、最低的消耗得到最好的结果，使业务的各个流程形成无缝的连接，让错误的概率降到最低。通过对数据的分析来优化整个运营的过程，通过的数据的优化和挖掘来得到最有用的东西，根据这些来进行决策，进而得以降低成本获得效益，使公司能在竞争激烈的市场得以生存发展。以数据为基础，以人为本的全新管理模式将使企业在新的工业革命时代拥有一席之地。
本课题研究将有利于企业在全新的由信息驱动的商业模式之中通过各种模式节约成本、提高效益，通过应用新的大数据处理技术对的传统的层级管理模式进行改良，得出一种全新的适应时代的管理模式，使信息的价值得到最高的体现，在营销、人力、绩效等各个方面结合，使企业在大数据时代蓬勃发展。
1.3 研究现状
1.3.1 国外研究现状
早于 20 世纪 90 年代，大数据（Big Data）一词就被数据仓库之父比尔·恩门所提及，到 2008 年末，《大数据计算：商务、科学和社会领域的革命性突破》的发布，使得研究者和业界高管意识到大数据真正重要的是其新用途和带来的新见解，而非数据本身[1].至 2011 年 5 月，在以“云计算相遇大数据”为主题的 EMC World 2011会议中 EMC 提出了 Big Data 的概念。
麦肯锡全球研究院（MGI）在《大数据：下一个创新、竞争和生产力的前沿》的研究报告中指出大数据正在成为与物质和人力资源同等重要的生产要素，它逐渐在各行各业得到了体现，数据的存储容量和数据的规模正在迅速增长，大数据时代已经到来[2].随着信息处理和分析技术，信息存储技术及云计算技术的发展，使得信息技术的使用成本降低，数据对于业务增长的价值得到更多的体现，大数据在商业上的应用成为了可能。
面对新的竞争形势，各大 IT 业巨头，如微软、谷歌、IBM、ORACLE、亚马逊、惠普等也为了能够在竞争中脱颖而出而大力发展大数据技术。Face book于 2011 年推出的新型数据处理平台 PUMA 通过对数据的各个处理环节的分别优化和区分，成功的将数据分析周期从之前 2 天降低到 10 秒以内，使效率显着提高[2].
美国奥巴马政府于 2012 年 3 月宣布了“大数据研究和发展计划”,其内容涉及到国家科学基金、能源部、国防部、国家卫生研究院地质勘探局等联邦政府部门。该计划中，大数据的收集、组织和分析工具及技术将得到改善，总投资将超过两亿美金，这一举动表明大数据正式上升到了战略高度。大数据将在各个领域和各个层面得到重视，推动其在世界各国的发展[2].
1.3.2 国内研究现状
第十五届亚太知识发现与数据挖掘（PAKDD）会议于 2011 年 5 月在深圳举办，会议涉及到人工智能、知识发现、数据挖掘等相许多方面，期间对于各个方面进行分析讨论[3].2011 年 11 月，由 CSDN 独家承办的大数据技术会议在北京成功举行，包括百度、淘宝、新浪等业界知名专家参与，集 Hadoop、NoSQL、数据仓库、商业智能、数据分析与挖掘及与计算构架等热门话题，共同探讨大数据的抉择问题[3].
2012 年，我国先后成立了大数据专家委员会和中国通信学会大数据专家委员会，它们对于推动我国大数据应用的研究和发展有着重要意义。同年 11月，召开了 Hadoop 与大数据技术大会，会议以大数据共享与开放技术为主题展开讨论，其中涉及的到的内容有大数据的作用力和变换反对、大数据特性与数据态、大数据安全及隐私、关于大数据计算的基本模式、大数据基本范式、IT 构架面对大数据的挑战、如何应用大数据及大数据相关产业链等问题。
为了更好的搜集大数据信息，展示大数据现状，促进大数据的研究和发展，大会还成立了大数据共享联盟[3].2013 年 12 月中国大数据技术会议在北京举行，以“应用驱动的构架与技术”为主题，研究大数据技术与应用的深度结合，并以此作为产业界、科技界与政府部门密切合作的新平台来推动我国大数据的研究[3].
目前，我国对于数据挖掘及相关算法的研究比较注重，对各行各业，各个方面的实际应用及理论研究方面正在加强，在 IT 等新兴领域的发展较为快速，如华为、阿里巴巴、百度等大公司对相关技术的推动起到了很大的作用。其他行业包括金融业、电信业、网络相关行业、零售业、制造业、医疗保健、制药业及科学领域也都有所发展，其单位集中在部分高等院校、研究所和公司。
1.4 研究内容
基于研究研究目的，本论文的研究内容主要有一下几点（见图 1.2）：
第一，收集国内外关于大数据的理论和技术方法的相关资料，系统的了解大数据的起源、基本特征和大数据所带来的挑战和机遇，对于研究背景做出论述。查阅大量相关研究资料，并做系统的分析整理，了解大数据的研究现状和关键性技术的发展情况，分析大数据所有待解决的问题，得出对课题研究有利用价值的信息。
第二，对于以上大数据所引起的管理变革中所涉及的关键性技术进行技术需求分析，例如大数据存储，大数据安全和隐私保护等，提出可用于解决这些问题的技术类型，如云计算技术的具体实施技术方案，对于这些技术做系统概述。
第三，深刻理解杰里米。里夫金所突出的“第三次工业革命”的理论体系，结合管理科学和信息管理科学的理论来研究新工业革命下可行的新的管理模式，这是本课题的一个重点所在，从各种不同的管理角度入手分析大数据所带来的管理变革，系统的分析管理模式变革的具体表现。
第四，提出基于大数据处理的管理模的具体框架，对于框架类容进行具体分析，联合上面提出的可行性技术方案，解决实际中可能遇到的问题，对于框架进行层次上的设计，并具体分析。
第五，对于基于大数据处理的新管理模式下很关键性的信息处理进行框架设计，即结合大数据处理的相关技术构建信息处理平台的具体方案，借助云平台搭建系统结构，解决实际问题。
1.5 论文的组织结构
在论文结构安排上共分为五章，组织安排如下（见图 1.3）：
第一章，介绍了本论文的研究现状和研究背景，表明了课题研究的意义和目的，在此基础上阐明了论文研究的内容，最后列出了论文的组织结构。
第二章，对于大数据进行说明，分析其特点，然后对于大数据关键性技术中的海量数据存储和数据安全保护进行分析。
第三章，详细了解大数据所带来的管理变革，根据对资料的收集和现实情况的分析，得出了大数据情况下的各方面管理的变革，以及从而所需面对的挑战。
第四章，根据对于“第三次工业革命”深层理解结合管理科学及信息管理科学，分析管理变革演进过程，将大数据时代的众多管理变革与相关大数据连接起来，分别对其进行可行性技术的大概设计，将大数据处理落实在实处。从实际出发，对于整个模式进行研究分析。
第五章， 对于基于大数据处理的管理模式下信息处理模块进行设计，构架基于云平台的系统架构。
