摘要：随着计算机、网络、AI等技术的快速发展,人机交互成为可能。智能机器人现已在诸多领域中得到越来越广泛的应用。如果能让机器人像人类一样进行交流,则可进一步改变人机之间的交互关系。在人机交互中,人脸表情识别是不可或缺的重要环节。基于此,本文从人脸表情识别的方法与流程分析入手,论述了人机交互中人脸表情识别的实现途径。
关键词：人机交互; 人脸表情; 识别方法;
Research on Face Expression Recognition in Human-Computer Interaction
LU Yu
人与人之间在进行交流沟通时,会使用一些行为动作、面部表情来表达相应的内容。机器人若是可以识别人类的面部表情,并根据表情分析人的情绪,则能够使交互过程变得更加自然和准确。因此,对人机交互中的人脸表情识别进行研究显得尤为必要。
一、人脸表情识别的方法与流程
人机交互简称HCI[1],是智能机器人与用户进行双向信息传输的过程。为使交互变得更加自然和准确,需要让智能机器人识别人类的各种情感信息,如喜怒哀乐忧思恐等,并据此作出合理的反馈。在这一目标的实现中,要运用到情感计算,即AC,具体是指通过赋予智能机器人与人类近似的各种情感能力,从而实现机器人与人类的自然交流[2]。要想实现智能机器人的拟人化,就必须使其能够识别交互对象的面部表情和语言等,来感知交互对象的情感状态,并据此作出反应。人脸表情识别,简称FER[3],是一种判断人类情感最为直接的方法,它不但是人机交互过程中不可或缺的组成部分之一,而且还是生物识别领域的重要研究课题。
(一)人脸表情识别方法
目前,人脸表情识别方法可分为两类,一类是静态图像识别,另一类是动态图像识别。前者包括整体法、局部法和几何法,其中,整体法能够对像素间隐藏的信息进行快速提取;局部法的识别率相对较高;几何法虽然定位精度比较高,但若是图像本身的质量比较差,或是背景过于复杂时,则无法准确识别。后者包括光流法和模型法,其中,光流法可在无任何场景信息的前提条件下准确检测出运动的物体;模型法获得的人脸特征具有代表性,但建模过程繁琐且计算量比较大。
(二)人脸表情识别流程
人脸表情识别是一个相对比较复杂的过程。具体的框架,如图1所示[4]。
图1 人脸表情识别框架示意图
在人脸表情识别过程中,有一个非常关键的环节,即面部特征提取。采用不同的提取方法,所得到的识别结果存在一定的差异。因此,按照需要提取的特征,选择相应的提取方法是人脸表情识别的重中之重。大体上可将人脸表情识别划分为检测、图像处理、特征提取以及表情分类几个模块。其中,检测模块能够获取到人脸在图像中所处的位置,进而得到表情图像。图像处理模块会将一些影响因素去除掉,随后特征提取模块会对处理好的表情特征进行提取及融合,最后输入到表情分类模块当中,由分类器输出识别结果。
二、人机交互中人脸表情识别的实现途径
(一)人脸表情识别系统总体架构
在服务机器人上,人脸表情识别系统分为上位机(人脸表情识别系统)和下位机(服务机器人运动控制系统)两个子系统。其中,上位机主要用于完成人脸表情识别工作,由图像采集、人脸检测与预处理、特征提取与识别、表情控制指令传输等模块构成。上述模块集成后构成整体的系统框架,如图2所示。
图2 系统框架结构示意图
上位机采用EP(嵌入式处理器),为完成人脸表情识别功能提供操作平台。该系统操作流程为:测试对象进入采样区,摄像头对准对象采集图像,启动AdaBoost人脸检测算法在传输的图像中准确识别人脸区域,预处理人脸区域;采用卷积神经网络识别表情特征,以唤醒度理论和效价度理论为基础,对表情类型进行划分,区别生气、厌恶、悲伤、恐惧(上述四种表情归类为负面表情),以及惊讶、中性、高兴(上述三种表情为非负面表情);在表情分类后,根据不同的分类结果采用不同的人机交互措施,针对识别出的负面表情下达“move”指令,将该指令传输到下位机,针对识别出的非负面表情下达“stop”指令,并执行询问功能,与测试对象进行交互,进而完成人脸表情识别的整个流程。
下位机(服务机器人运动控制系统)的结构,如图3所示,主要由处理器、电机驱动器、电机控制板等模块构成,其功能主要用于执行上位机传达的指令。该系统的操作流程为:系统接收和处理上位机传达的指令,在RS232串口总线中传输指令处理结果,电机控制模块接收处理后的指令,采用数字处理技术处理串口命令,将处理结果通过脉冲展宽调制输出最终的控制信号,当机器人接收到控制信号之后,开启相应的运动。
图3 运动控制系统结构示意图
(二)系统测试
为对本文所开发的系统性能进行检验,根据人脸表情识别结果与机器人之间构建交互规则,机器人按结果做出反馈。通过相关的实验数据,对该系统的识别率以及实时性进行验证。
1.系统的识别率
在对本文所提出的系统稳定性及鲁棒性进行验证的过程中,选取了两位测试者(一男一女)的表情识别结果。为提高验证结果的准确性和可信度,测试者的每个表情均统计100帧连续图像,并对其中识别错误的帧数进行记录,以此来检验系统的人脸表情识别率。
2.实时性评估
对人脸表情识别的实时性进行评估,通过处理100帧数连续图像的方式,统计表情识别整个流程所需的时间,以及对手机远程连接所需的时间进行测试。测试实验数据显示:表情识别到运动控制耗时为1.32s,相比较传统的人脸表情识别系统而言,所需时间略微延长。究其原因在于表情识别之后需通过无线传输信号,并利用电机驱动的方式促使运动控制,这一过程所耗时间较长,导致表情识别控制实时性下降。同时,在机器人运动过程中,还会受到多种干扰因素影响,进一步降低实时性;手机远程连接耗时为1.19s,比1.32s快0.13s,说明集成性的人脸表情识别系统具有良好的实时性,其性能优于其他识别系统。
3.人机交互性
根据人机交互规则,系统识别到负面表情后,会发出询问,与测试对象进行交互,如询问“您怎么啦?我能帮助你吗?”当识别到非负面情绪时,系统仍然会发出语音,如“您看起来很高兴”。
根据实验结果显示,本系统可完成表情识别操作,具备良好的识别实时性和操作稳定性。在后续研究中,应将语音识别技术、语音播报技术运用到人机交互中,丰富人机交互的功能,使人机交互过程更加顺畅,从而给测试对象带来良好的交互体验。
三、结语
综上所述,为使人机交互过程变得更加自然和准确,智能机器人需要对人脸表情进行识别。为提高识别率,可以引入卷积神经网络算法。据此,本文开发了一款人脸表情识别系统,对系统的硬件和软件进行分析,并通过实验的方法,对系统地识别率和实时性进行验证,最终结果表明,该系统能够满足真实环境的应用需要。
参考文献
[1] 沈利迪.融合深度学习和稀疏表示的人脸表情识别方法研究[J].自动化技术与应用,2019(10):109-111.
[2] 张俞晴,何宁,魏润辰.基于卷积神经网络融合SIFT特征的人脸表情识别[J].计算机应用与软件,2019(11):143-146.
[3] 姚丽莎,张军委,房波,等.基于LBP和SVM的人脸表情识别系统的设计与实现[J].贵州师范大学学报(自然科学版),2020(1):87-92.
[4] 李旻择,李小霞,王学渊,等.基于多尺度核特征卷积神经网络的实时人脸表情识别[J].计算机应用,2019(9):2568-2574.
