摘 要： 图像是人类社会中最常用的信息载体,图像处理是研究各种与图像相关技术的总称的一门学科。本文论述数字图像处理的研究内容、研究进展。
关键词： 图像处理; 数字图像;
图像处理是研究各种与图像相关技术的总称的一门学科,如何从图像中获取重要信息是对图像分析和理解的关键。随着数字图像处理的载体,计算机技术的迅速发展,使得需要大数据量运算的数据图像处理从专业的图像处理设备,迅速过度到微型个人计算机,数字图像处理变得触手可及,这使得图像处理在各个领域的应用成为可能。
数字图像处理作为新兴的热门研究领域,新的词汇层出不穷,与相关学科交织密切,界限混淆,对研究内涵进行梳理,研究热点讨论成为有必要性的研究。
一、图像处理定义
图像处理,客观世界是三维空间,但图像是二维的,二维图像在反映三维世界的过程中必然丢失了部分信息。即使是记录下来的信息也可能有失真,甚至于难以识别物体。通过恢复、重建、分析、提取图像的数学模型,使人们对于图像记录下的事物有正确和深刻的认识,这个过程就称为图像处理。[1]
图像所包含基本信息分为像素信息和几何信息。
像素信息:图像中每一个像素所包含的基本信息。例如黑白图像的每个像素只包含黑或者白的信息;灰度图像的每个像素的信息由一个量化的灰度级表示;彩色图像的每个像素的信息由RGB三原色构成;通过3D扫描仪获取的点云数据,每一点则包含三维坐标信息。
几何信息:在不同的成像方式中,图像蕴含不同的几何信息。例如三维场景重建利用图像中小孔成像几何模型,恢复图像中所包含的三维信息。
广义上的图像处理根据处理的目的不同分为下面三类:
低层图像处理,将一副图像变为另一幅经过加工的图像,处理的目的是为了改善图像的质量,以改善人的视觉效果为目的。中层处理和高层处理是将一幅图像转换为一种非图像的表示。根据非图像的表示不同,分为图像分析和图像理解。图像分析输出的是对图像中的目标物体识别或分类结果。高层图像处理图像理解输出是计算机系统对图像的解释,实现类似人类视觉系统的理解。
图1给出了图像处理研究框架,包含了图像信息、图像处理分类、研究内容和应用领域。在由底层图像处理中以人为目标,更好的理解图像,到高级图像理解中让计算机更准确理解图像为目标。
二、国内外最新研究进展
数字图像处理目标是使图像处理的速度更“快”、图像处理更“聪明”。“算力”和“数据”是促进数字图像处理发展的两大动力。“算力”,可编程GPU出现,以GPU为代表的新一代处理器处理能力的飞速发展,使得深度学习在数字图像处理中应用得以实现。“数据”,数据采集端随着智能手机发展,深度相机等新硬件的出现飞速发展,出现海量图像数据。在真实世界,图像处理在制造业故障诊断、遥感图像处理、医学图像处理等领域都取得巨大应用价值。面向虚拟世界,虚拟现实,混合可视媒体将成为新兴应用场景,带给人们更好的娱乐体验,释放人类的想象力。在真实世界和虚拟世界之间,增强现实、混合现实将虚拟信息与真实世界融合,增强人类在真实世界的体验。
图1 图像信息,图像处理分类,研究内容和应用
数字图像处理的发展可以分为两个层次,一个层次是学科算法理论研究,较多的以数学为基础,如射影几何、各种空间变换(小波、曲波、剪切波等)。另一个层次是学科横向拓展,将图像处理与其他学科相结合,如与模式识别相结合。
2.1、深度学习
自2012年krizhecsky[2]提出利用深度卷积神经网络(CNN)进行图像分类,赢得了当年的ImageNet竞赛,把分类错误记录从26%降到了15%,深度学习在图像领域取得了爆炸式的发展。近年来,分类准确率逐年提高,直接逼近甚至超越了人类的分类准确率。而目标检测领域也从二维目标检测延伸到了三维目标检测和形状分析。目前,深度学习除了在图像分类、目标检测等图像分析领域取得较好效果,也逐渐应用到底层图像处理领域如图像增强,去雾。
2.2、无监督学习
在图像处理、理解领域,监督预训练一直是主流方法,由于识别精度较低,无监督方法则被落在了后面,特别是在工业界诉求是精度越高越好的背景下。但近年因为不需要依赖大量标注资源,半监督,无监督的研究在学术界很受欢迎,在精度上也有了很大提高。
何凯明等提出的动量对比(MoCo)的无监督学习方法[3]。MoCo无监督预训练在7个与检测和分割相关的下游任务中,在某些情况下其表现还大大超越在 ImageNet 上的监督学习结果。作者在文章摘要中写道“无监督和监督表征学习之间的差距已经在很大程度上被消除了”。
2.3、评价标准
图像质量评价是评价图像视觉质量的客观评价标准,在图像增强、去噪、去雾等领域有着重要的应用。均值信噪比(PSNR)、结构相似度(SSIM)是图像处理领域目前应用最广的量化评价指标。2004年发表在IEEE TRANSACTIONS ON IMAGE PROCESSING的SSIM[4]至今被引用14560频次(数据来自Web of Science至2019.11.28),成为图像处理领域引用量最高的论文之一。近年来随着图像处理的发展,面对自然图像的应用增多,在超分辨率(Super Resolution)等领域越来越多的研究工作发现,PSNR、SSIM评价标准与主观感知的视觉效果不再保持一致。为此一些数字图像处理国际比赛如图像去噪对于比赛结果的评价使用了主观评价指标和客观评价指标两种评测标准结合的评价方法。现有评价标准的不足,制约了一些图像处理领域发展。
2.4、遥感图像处理
《中国图形图象学报》2018年度11篇优秀论文中4篇[5][6][7][8]与遥感图像处理有关。遥感图像处理(processing of remote sensing image data)是对遥感图像进行辐射校正和几何纠正、图像增强、投影变换、镶嵌、特征提取、分类以及各种专题处理等一系列操作,以求达到预期目的的技术。近年来,随着数字图像处理技术的发展,遥感图像在语义分割、场景分类、目标检测等领域也取得了飞速发展。将深度学习方法应用在遥感图像目标检测中,在大规模的遥感图像上将诸如飞机、舰船、储油罐等目标快速识别出来,有着比较重要的意义。
2.5、增强现实
增强现实(Augmented Reality,AR)技术是将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间,将真实世界信息和虚拟世界信息“无缝”集成,同时存在。增强现实需要借助图像配准和图像处理技术感知和分析现实世界,建立真实世界的坐标系,同时,将生成的虚拟对象“放置”在真实环境中,将虚拟对象与真实环境叠加,呈现一个感官效果真实的新环境。近年来,得益于计算机软硬件的发展AR技术取得迅速发展。手持设备手机计算能力的增强,让现实世界叠加的虚拟信息更加丰富,并且出现了更高级的头盔设备。基于图像的三维重建为计算机感知和分析现实世界提供更多方法。
三、结语
随着计算机技术软硬件技术的发展,数字图像处理取得飞速发展,已广泛地应用于科学研究、工业生产,生活娱乐等诸多领域,成为一门有着远大应用前景的新兴学科。数字图像处理技术也正在向处理算法更优化、快速、智能的方向发展,实现图像的智能生成、处理、识别和理解是数字图像处理的最终目标。然而,但作为一门新兴的学科,数字图像处理仍存在不足和有待解决的问题。如学科理论基础不明确,图像质量的评价标准难于量化等。
参考文献
[1]冈萨雷斯.数字图像处理.电子工业出版社,2011
[2]A.Krizhevsky,I.Sutskever,and G.E.Hinton.ImageNet Classification with Deep Convolutional Neural Networks.Adv.Neural Inf.Process.Syst.,2012,1097-1105.
[3]Kaiming He,Haoqi Fan,Yuxin Wu,Saining Xie,Ross Girshick.Momentum Contrast for Unsupervised Visual Representation Learning.http://h-s.arxiv.org.forest.naihes.cn/pdf/1911.05722.pdf
[4] Wang,Z;Bovik,AC;Sheikh,HR;Simoncelli,EP.Image quality assessment:From error visibility to structural similarity.IEEE TRANSACTIONS ON IMAGE PROCESSING.2004.13:600-612
[5]李青,李玉,王玉,等.利用格式塔的高分辨率遥感影像建筑物提取[J].中国图象图形学报,2017,22(8):1162-1174.
[6]夏梦,曹国,汪光亚,等.结合深度学习与条件随机场的遥感图像分类[J].中国图象图形学报,2017,22(9):119-131.
[7]周敏,史振威,丁火平.遥感图像飞机目标分类的卷积神经网络方法[J].中国图象图形学报,2017,22(5):144-150.
[8]吴喆,曾接贤,高琪琪.显着图和多特征结合的遥感图像飞机目标识别[J].中国图象图形学报,2017,22(4):122-131.
