学术堂首页 | 文献求助论文范文 | 论文题目 | 参考文献 | 开题报告 | 论文格式 | 摘要提纲 | 论文致谢 | 论文查重 | 论文答辩 | 论文发表 | 期刊杂志 | 论文写作 | 论文PPT
学术堂专业论文学习平台您当前的位置:学术堂 > 工程论文 > 地质工程论文

地质调查大数据处理的技术问题与开发方法

来源:学术堂 作者:韩老师
发布于:2015-12-11 共5924字

  地质调查的过程同时是地质调查信息的处理过程。信息科技60年迅猛发展提升着地质信息处理能力,影响着地质调查面貌,渗透到地质调查思维。

  1 数据的产生

  地质调查是人们对地球表层有目的的探测与探索。从数据角度看,地质调查以多来源、多模态数据展现地球表层现状与发展过程。从系统角度看,地质调查是参与人、数据处理机、地球构成的“人-机-地”系统。地质调查数据的产生情况如表1所示。其中网络信息与管理信息来自人机交互系统,地球信息来自机地交互系统和人地交互系统。

  地质调查数据产生的位置与时间表现出整体的规律性和局部的随机性。地质调查不但产生地质观测与探测数据,还产生服务、管理及其参与人数据,表现出确定性与不确定性交织的复杂状态。

  2 基本认识

  地质调查大数据是地质调查工作和信息科学技术发展、融合到一定程度的结果。源动力来自于2个方面:①地质调查业务不断调整拓展,大量新型技术方法的应用,数据共识基本形成;②地质调查信息化服务需求日渐增强,亟需从独占走向共享、从粗放走向精细。

  地质调查大数据试图解决以下3类问题:

  (1)过去计划经济体制下,地质信息资料分割保存,形成信息孤岛,数据信息顺畅流动困难,信息与数据共享问题一直是制约地质调查发展的瓶颈。

  (2)在以往地质调查工作中,存在一些与数据和计算相关的地质问题,由于当时信息技术条件的限制,没有得到解决,或者解决效率、精度不能令人满意。这一类问题普遍存在于地质调查具体工作中。

  (3)地质调查信息化服务产品类型不足,生产周期偏长,需求响应欠准确、欠及时。这一类问题已经逐渐成为地质调查工作的焦点问题。

  地质调查大数据是一个三元组<Ω,fΩ,Rf>,Ω是一个巨数据集,fΩ是定义在Ω上的处理技术方法集,Rf是fΩ上的关联关系。通常,巨数据集Ω的计数测度只增不减,包含地质调查产生的数据。处理技术方法集fΩ的操作对象是地质调查产生的数据,操作基础是信息技术,尤其是新一代信息技术,是地质调查大数据处理技术的核心元素。关联关系Rf定义解决地质调查问题的思路逻辑,体现地质调查大数据的功用与质量。

  地质调查大数据是“用”出来的,应从地质调查大数据处理技术研究与开发起步,解决技术应用中的具体问题。当应用达到相当的广度、深度后,一些有关地质调查大数据的共性科学问题会浮现或抽象出来,这时就是在更高层面上解决问题的时刻了。

  3 地质调查大数据处理的技术问题

  结合地质调查数据处理一般流程和大数据处理技术的特殊性,把地质调查大数据处理主要技术问题分为采集与传输、存储与管理、计算模式与系统、分析与挖掘、可视分析、隐私与安全6个方面。

  (1)采集与传输对应地质调查数据的产生,地质调查大数据外延显然更大,采集对象更加全面地覆盖地质调查工作。同时,通过实时或准实时数据通信获取地质调查数据,为达到地质调查工作服务目标提供基础。

  地质调查大数据采集与传输的基本目标是应收、尽收、速收。

  地质调查大数据采集与传输技术多样,也相对成熟,主要问题在于技术集成与产品化设计生产方面。地质调查大数据采集与传输技术及主要问题如表2所示。

  (2)存储与管理地质调查工作中,不同类型的应用对存储系统的性能、可靠性等指标有不同的要求,这在存储与管理中并不是新问题,但地质调查大数据的大体量、高复杂度放大了达到这些技术指标的难度,导致“存储墙”问题越来越严重。

  地质调查数据处理应用中存在2个突出的问题:①数据体量增加到一定程度后,系统停止运转;②读写外部存储碎片数据时,系统效率极低。

  这2个问题首先与地质调查数据处理使用的计算机存储硬件有直接关系。当前,地质调查数据处理中使用的内部存储硬件主要是SRAM/ DRAM工艺的,外部存储硬件主要是磁盘。SRAM 工艺存储密度限制片上存储容量增长,SRAM/ DRAM工艺高静态功耗阻碍存储层次发展,SRAM/DRAM 工艺对粒子和射线撞击产生的软错误问题没有抵抗能力,纠错电路限制存储容量增加并引起功耗[1].磁盘是计算机体系结构中唯一还在使用的机械单元,与其他电子存储单元在访问效率、延迟等指标上存在量级上的差距,如表 3 所示[2].上述2个问题与地质调查数据处理使用的软件体系也有关系。地质调查应用主要的存储与管理软件是文件系统与数据库,当前,地质调查数据存储与管理整体设计不明确,绝大部分应用没有进行针对性较强的存储与管理设计优化,造成整体效率与具体应用效率都有待提高。地质调查大数据存储与管理的基本目标是软硬件优化升级,大幅提升效率。

  地质调查大数据的存储与管理技术与当前使用的技术有较大的区别,内容更丰富,结构也更复杂,但效率普遍提高,有些技术能够达到量级上的提高。地质调查大数据的存储与管理技术如表4所示。

  (3)计算模式与系统计算模式在以往地质调查数据处理中很少提及,但计算模式是地质调查大数据处理的核心问题之一。所谓地质调查大数据计算模式,就是根据地质调查大数据的数据特征和计算特征,从多样性的地质调查大数据计算问题和需求中提炼并建立抽象或模型。在地质调查工作中,与数据计算有关的业务非常多,业务目标不同,对数据计算响应的时限要求也不同,操作的数据不同,数据的计算方式就不同,因而需要甄别不同计算模式,分类分析地质调查大数据处理中的计算模式。地质调查大数据计算模式主要类型与特点如表5所示。

  地质调查大数据处理的大部分对象是空间数据,关联关系复杂,当前主流的批处理计算难以从根本上解决可行性与效率问题;内存计算[3]在计算机体系结构层面解决地质调查大数据处理的问题,具有广谱性,可以很容易地与其他计算模式结合,形成具有优异计算性能的应用系统;随着内存价格的不断下降和新型非易失性存储器的发明,服务器可配置的内存容量不断提高,采用内存计算完成高速的地质调查大数据处理有了现实的可能性。内存计算是地质调查大数据处理技术发展的重要趋势。

相关标签:地质学论文
  • 报警平台
  • 网络监察
  • 备案信息
  • 举报中心
  • 传播文明
  • 诚信网站