第 2 章相关研究基础
2.1 大数据简介
2.1.1 大数据的基本概念
大数据是互联网时代中在云计算出现后的又一热门话题，根据权威部门 CCW预测，在未来的一年内，大数据的直接商业价值将达到 157 亿元人民币。各个企业及专家，权威机构，都对大数据进行了定义。目前还没有统一的标准。世界着名的 IT 咨询公司高德纳认为，大数据是一种具大规模、多样性和高增长特性的信息资产，其结构与现有的数据库处理系统不兼容，需新的并行数据处理平台或技术从大数据中提取潜在有价值的决策、优化信息。《着云台》的分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像 MapReduce 一样的框架来向数十、数百或甚至数千的电脑分配工作。
2.1.2 大数据的特征
虽然定义各有不同，但是大数据具备典型的 4V 特征，是国际公认的。即Volume 规模性、Variety 多样性、Velocity 高速性、Value 价值性。
1.规模性。随着信息技术的发展，人类所拥有的数据呈几何级数增加，2010年，人类所拥有的数据量大概在 0.7ZB（1ZB=10 亿 GB），而到 2015 年这个数字上升到 8ZB.在网络时代，大量数据都在不断地产生，比如淘宝，每天有 4 亿多的会员在产生交易数据，新浪微博每天产生一亿条以上的信息。百度每天处理的数据量将近 100 个 PB（1PB=100 万 G）。
2.多样性。由于数据的来源不同，数据有多种形式，比如有结构化数据，半结构化数据，非结构化数据。结构化数据指会计数据，信息数据等等，数据之间关联性较强，半结构化数据如网页、邮件，数据之间关联性较弱，非结构化数据如视频，图片，数据之间没有关联性。
3.高速性。大数据的数据量如此之大，数据如此之复杂，因此对数据的响应速度要求很高。进行实时分析，做到几乎没有延迟。由于分布式计算方式和云技术的高速发展，为计算机处理海量数据提供了可能。
4.价值性。在海量的数据中，企业可以转化为有效价值的数据所占比例很小，大数据的精髓在于企业通过各种挖掘方法，从貌似毫不相关的数据中找出有用的信息，并转化为企业的实际效益[6].
2.1.3 大数据的发展趋势
着名咨询公司凯捷针对大数据对全球的高管进行了调研，如表 2.1 所示。
从中我们可以看出，大数据已经成为一种趋势，备受世界的关注。根据联合国大数据发展白皮书，大数据发展有十大趋势。
1.数据资源化。数据在未来将成为可以与粮食，石油比肩的战略资源，只要合理的方法进行发掘、就会产生无穷的力量，并且是源源不断，用之不竭的力量。
目前，包括百度，阿里巴巴，腾讯等 IT 巨头，都将数据视为立足之本，希望扩大自身德数据库。而掌握数据的某些公司，如高德，纷纷被收购。因此，大数据已经成为一种非常宝贵的资源[7].
2. 大数据隐私问题。由于数据是资产，那么就具有价值，在互联网时代，我们的隐私信息很容易被透露。由于 cookies 等多种 IT 技术的日益成熟，我们在网络上的浏览，评论，购买信息都可以被精确的追踪，有些公司甚至可以通过IT 技术，获取我们的身份证号码，年龄，性别，学历等信息。这些数据涉及到很多隐私。在信息化社会，保护隐私安全属于社会行为，应该被提上日程，甚至立法[8].
3. 大数据与云计算。云计算是一种分布式计算平台，通过虚拟技术将大量的硬件资源和虚拟资源虚拟成虚拟资源池，同时根据需求的具体情况，向虚拟资源池获取相应的计算和存储资源。目前有很多云技术平台，例如 Hadoop、MapReduce、Dryad 等。人民研究大数据的目的是处理多源化、多结构化、大量化的数据的问题，而这些工作必须通过大数据平台来实现，而云计算则是一种将数据分布式储存和处理，根据需求灵活处理数据的大数据分布式服务模式。因此，二者之间需要相互配合，共同发展。
4. 基于大数据的智能。从前几年开始，"人机对话"的普及，前段时间，到谷歌公司花数亿美金并入人工智能公司，百度也在启动百度大脑项目，这一切都在告诉我们，由于大数据的成熟，科幻影片中的人工智能里我们越来越近了。人工智能早在几十年前就被提出，那时候人们是根据科学的算法让机器来模拟人的行为，如今随着大数据技术的成熟，完全可以将人类行为习惯的数据完全输入计算机，而不必采用复杂的分析方法。极大地了促进了人工智能的发展。
5. 大数据分析的革命性方法。大数据分析给传统的分析方法带来了革命性的变化。2009 年，出现了一种名为甲型 H1N1 的禽流感病毒。在病毒爆发的几周前，谷歌的工程师们在《自然》杂志上发表了一篇论文，说谷歌能够预测冬季流感的传播。结果几周之后，禽流感果然爆发了。谷歌通过什么样的分析手段来完成预测的呢。原来，谷歌每天都会收到来自全球超过 30 亿条的搜索信息，谷歌建立了 4.5 亿个不同的数字模型，通过和往年流感爆发时间的数据相匹配后得出了结论。如今，基于大数据的数据化洞察正在崛起，传统的调研分析行业开始没落。
6. 大数据安全。在 2013 年 4 月，一家新闻机构的 Twitterfeed 遭到黑客袭击，黑客通过发出虚假的 tweet,宣称白宫受到了攻击。几家投资机构得到这个消息后开始抛售股票，结构蒙受了巨大的损失。这个事件告诉我们，大数据和所有科学技术一样，是一把双刃剑，如果使用不当，很可能变成行凶的利器，因此在信息化社会，大数据安全尤为重要。
7. 数据科学兴起。随着大数据的发展，对数据挖掘和分析显得尤为重要。北京航空航天大学开设了大数据专业的研究生。各 IT 公司也在不断地扩充自己的 IT 队伍，在数据建模，IT 技术领域，与大数据有关的科学都成为了热门科学。
8. 数据共享联盟。如今，大数据已经成为宝贵的资源，百度、腾讯、谷歌、脸谱、亚马逊、京东、甚至包括专业领域的公司如 A、大众、丰田、宝马、宝洁、通用等等，都拥有自己的数据库。阿里巴巴首席大数据分析师车品觉认为，大数据必须流动起来，才有意义也就是说，必须要打通数据壁垒，才能将所有的数据关联起来。如何让数据拥有者愿意拿出自己的数据呢数据共享联盟可以很高的解决这个问题。
9. 大数据新职业。为了保证大数据技术的发展，越来越多的新的职业出现在各种和数据相关的商业模式当中。比如说承担数据筛选任务的算法师。算法师可以为政府服务，根据产业的发展情况和政治的需要，以中立的身份检查大数据预报的准确性或合理性。也可以为大数据公司提供服务，给予专业的审计服务。同时，企业内的算法师可以帮助企业内部运营大数据体系，监督大数据操作。
10. 更大的数据。人类所掌握的数据在以不可思议的速度增长，如今我们已经不能完全把握如此庞大的数据，未来我们必将面临更多的挑战。
2.1.4 大数据给我们带来的改变
1.大数据的先进技术。大数据的先进技术决定了数据大而全的特性，先进的计算技术帮助我们使用的样本量可以从抽样样本量进化到全样本量。以往我们在研究中使用的统计方法基本上都是抽样调研，诸如系统抽样，分层抽样，定额抽样……，而这些统计方法将会被大数据统计方法所淘汰。大数据技术可以统计到一切想要统计的数据。
2.从精确到非精确。在以往的搜索过程中，我们需要某个信息的时候，为了保证准备，我们需要的是全部信息，一个都不能遗漏，以免我们作出错误的判断，但是在大数据时代，大数据技术可以帮助我们统计哪些信息的权重最大，通过一套模糊算法，以及一系列复杂的计算，将系统分析后的结果呈现给我们。比如我们使用百度，我们只需要阅读百度的前几项搜索内容，即可满足我们的需求，这种结果上的呈现颠覆了传统所认知的对于目标的定义。我们追求的是无限的近似而不是绝对的正确。因此在大数据时代，我们追求的不再是绝对目标，而是一个从宏观趋势下推导出的一些模糊的不精确的未知目标。
3.从因果到关联。因为数据统计的存在，我们可以忽略到某种内在的联系，过于由于数据样本较少，我们必须通过某种逻辑关系才能确定某种逻辑关系，而现在我们并不需要这样做。比如星巴克对全球的咖啡店进行统计，发现下雨的时候某种蛋糕最好卖，因此高管们不必知晓这是什么原因，只需要根据天气预报，在阴雨到来之际将蛋糕备足即可。
2.2 理论知识
2.2.1 营销理论
营销是计划和执行关于商品、服务和创意的观念、定价、促销和分销，以创造符合个人和组织目标的交换的一种过程。从事交换活动需要相当多的工作和技巧。营销管理乃是发生在一桩潜在交易中至少有一方正考虑着如何从另一方获得所渴求的反应时而形成的那些目的和手段的过程。营销管理作为一种艺术和科学，它需要选择目标市场，通过创造、传递和传播优质的顾客价值，获得、保持和发展顾客[9].
营销者从被称为预期客户的群体处寻找响应。如果双方积极寻求交换，那么，我们把双方都成为营销者。营销者必须努力理解目标市场的需要、欲望和需求。
需要描述了基本的人类要求。人们需要视频、空气、水、衣服和住所赖以生存。
人们还强烈的需要娱乐、教育和文娱生活。当人们趋向某些特定的目标以获得满足时，需要变成了欲望。需求是指对有能力购买的某个具体产品的欲望。公司不仅要估量有多少人想要本公司的产品，更重要的是，应该了解有多少人真正愿意并且有购买能力。
如果供应品向目标客户传达了价值以及满意，那就表示成功了。消费者在不同供应商品中挑选的基础是知道哪个会给他们带来最大的价值。
2.2.2 组织理论
组织是由人及其相互之间的关系构成的。当人们之间相互作用以完成时限目标的基本活动时，组织就存在了。管理者精心地组合和协调组织的资源以实现组织的目标。然而，即便工作可以被组织到各独立的部门或者一系列的活动中，大多数组织今天仍在努力实现工作活动的横向协调。他们通过利用团队组织形式，使不同职能领域的员工在一起工作，完成特定项目。当企业需要对外部环境的迅速变化作出反应时，部门之间的界限以及组织之间的界限就变得更富有灵活性和渗透性。不予客户、供应商、竞争者，以及其他外部环境因素相互作用的组织，是很难生存下去的[10].
2.2.3 流程理论
流程包括流程的输入，流程的输出，开始与结束，权责，流程的动态内容，裁决方向和动态流向。流程的设计，需要涉及战略、计划、人员、组织、授权、沟通、效率、财务等方面，牵一发而动全身，涉及整个企业的价值链。流程设计既要根植于企业的所有管理细节之中，又要超越管理之上[11].
流程是任何企业运作的基础，企业所有的业务都是需要流程来驱动，就像人体的血脉流程把相关的信息数据根据一定的条件从一个人（部门）输送到其他人员（部门）得到相应的结果以后再返回到相关的人（或部门）。一个企业从不同的部门，不同的客户，不同的人员和不同的供应商都是靠流程来进行协同运作，流程在流转过程可能会带着相应的数据：文档/产品/财务数据/项目/任务/人员/客户等信息进行流转，如果流转不畅一定会导致这个企业运作不畅[12].
流程是因客户而存在的，流程管理的真正目的是为客户提供更好更快的服务。我们经常讲流程的起点是客户，终点也是客户。但在实际工作中，由于部门的藩篱我们明显忽略了客户，甚至不知道客户是谁。从为客户服务出发，在流程管理的原则如下：树立以客户为中心的理念[13];明确流程的客户是谁、流程的目的是什么；在突发和例外的情况下，从客户的角度明确判断事情的原则；关注结果，基于流程的产出制定绩效指标；使流程中的每个人具有共同目标，对客户和结果达成共识。
2.2.44C 理论
在 1990 年，美国营销专家提出了 4C 营销理论，这个理论把客户放到首位，与传统营销的 4P 相对应。4C 营销理论把用户导向放在至关重要的位置，这与当年豪华车市场竞争激烈，重视客户满意度的形势非常吻合。四个基本要素：即消费者、成本、便利和沟通。
1. 顾客
顾客（Customer）在 4C 理论中，主要指要满足顾客的需求点。企业必须牢牢把握客户的需求点，研究顾客，做出顾客最喜欢的产品，提供客户最满意的服务。
公司和顾客直接接触，如果不考虑顾客的喜好和需求，及时建立以消费者为中心的销售观念，将以顾客为中心作为企业经营的基本理念，所有的市场营销活动都围绕消费者来做。企业理应站在顾客的立场上，帮助消费者挑选商品货源；按照顾客的需要及购买的特点，进行商品销售；研究顾客的购买行为，更好地满足顾客的需要；更注重对顾客提供优质的服务[14].
2.成本
成本（cost）既是企业的投入成本，又是顾客的购买成本，企业的营业额减去成本等于企业的净利润，企业希望成本越来越低，这样就可以获得更高额的利润。对于顾客来说，这中间的购买成本不仅包括其货币支出，还包括其为此耗费的时间，体力和精力消耗，以及购买风险，因此顾客总成本包括货币成本、时间成本、精神成本和体力成本等。由于顾客在购买商品时，总希望把有关成本包括货币、时间、精神和体力等降到最低限度，以使自己得到最高的性价比，因此，零售企业必须考虑顾客为满足需求而愿意支付的"顾客总成本"[15].尽量降低顾客购买的总成本，比如通过降低商品的物流成本和广告宣传费用从而降低商品价格，以减少顾客的货币成本；同时也可以努力提高工作效率，尽可能减少顾客在时间上的花费，帮助顾客节约购买时间；还可以通过多样化的渠道向顾客提供大量的产品和服务信息、给顾客提供优良的售后服务，减少顾客精神和体力的耗费。在任何一个企业，降低成本都是企业可持续发展的关键所在[16].
3. 便利
便利（Convenience）是指为消费者购买商品和使用商品提供最大的便捷。
便利也是一种服务既要保证商品的售前，消费者可以迅速的了解产品，方面的购买产品；还要保证在购买过程当中，享受最适合自己的服务；同时还有售后，消费者可以方面的投诉，及时解决抱怨。最大程度地便利消费者，是目前处于过度竞争状况的零售企业应该认真思考的问题[17].如上所述，零售企业在选择地理位置时，应考虑地区抉择、区域抉择、地点抉择等因素，尤其应考虑"消费者的易接近性"这一因素，使消费者容易达到商店。即使是远程的消费者，也能通过便利的交通接近商店。同时，在商店的设计和布局上要考虑方便消费者进出、上下，方便消费者参观、浏览、挑选，方便消费者付款结算等等。
4.沟通
沟通（Communication）在 4C 理论中，企业应通过同顾客进行积极有效的双向沟通，建立基于共同利益的新型企业/顾客关系。企业只有通过沟通，才能充分了解顾客的需求，充分宣传产品的特点，合理的建立品牌形象。零售企业为了创立竞争优势，必须不断地与消费者沟通。与消费者沟通包括向消费者提供有关商店地点、商品、服务、价格等方面的信息；影响消费者的态度与偏好，说服消费者光顾商店、购买商品；在消费者的心目中树立良好的企业形象。在当今竞争激烈的零售市场环境中，零售企业的管理者应该认识到：与消费者沟通比选择适当的商品、价格、地点、促销更为重要，更有利于企业的长期发展。
