摘要：微表情是一闪而逝的真实表情，在谈判过程中，双方对谈判条件的真实接受程度和内心底线往往不会表现出来，但这种刻意的压制和隐藏却会被微表情所暴露。本文首先一段谈判视频中截取一系列图像，结合改进的 SSD 算法和比率检验法，对经 HSV 色彩空间转换后，剔除了环境背景的微表情图片进行识别。通过模拟谈判情境设计与实践，利用计算机能准确快速地识别微表情，经过微表情训练的实验对象能达成更有利的谈判结果。
关键词：微表情；识别；SSD 算法；色彩空间
微表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表情。在谈判过程中通过微表情来了解谈判对方对谈判结果的真实预期与心理底线，无疑能给己方带来更好的谈判结果。微表情持续时间一般不超过 200ms，即使是有意注意，一般也难以尽窥其貌。
本文先借用 OpenCV 读取视频中的每一帧，然后用计算机编程来获取对手微表情泄露的信息，最后给实验参与对象进行培训。
1、微表情的计算机编程获取及识别
1.1、谈判视频的逐帧图像截取
开源计算机视觉库 （Open Source Computer VisionLibrary，OpenCV）是一个基于（开源）发行的跨平台计算机视觉库，它由一系列 C 函数和少量 C++类构成，同时提供了 Python、Ruby、MATLAB 等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。本文所用的实验视频是从罗伯特·斯文克导演的《Telling Lies》中摘取一段谈判视频，视频部分截图见图 1、图 2，该剧的灵感来源于美国行为学专家 Paul Ekman 博士的真实研究，卡尔·莱特曼（主演）通过对人的面部表情和身体动作的观察，来探测人们是否在撒谎来还原事件真相。
本文所用的实验视频 OpenCV 可以直接读取，无需安装特殊解码器。用 OpenCV 打开实验视频，取得其帧速率，根据帧速率计算帧之间的等待时间，取得视频文件的总帧数，每帧分别输出为一个单独的图像文件，按照截取的每帧的时间顺序编号。视频的帧速率是 30 帧/秒，运用 OpenCV 逐帧截取之后共得到图片 1662 张，分析这些图片，发现其中很多图片没有太大价值，为提高分析效率，并按照微表情的定义，微表情持续时间约为 40ms 到 200ms。故延长所截取的每帧的间隔时间后再次截取，实验以 200ms 为单位，共截得277 张图片。
图 1 谈判视频中乙方声称价格已到底线微表情
图 2 谈判视频中乙方不得已以真实底线成交微表情
1.2、表情与背景的分离———跟踪实验视频中的特征点
在视频跟踪过程中，首先要对起始帧检测特征点，然后依次对后面的帧进行跟踪。本研究处理的实验视频中人脸在录像屏幕的部位大致相同，故只需先用形状描述子定位起始帧中人脸所在区域，再在其后的帧中以该区域为圆心开始搜索即可。本文采用均值平移算法来查找目标。在已知目标大概位置的情况下，就可用概率分布图找到物体的准确位置。
而某个指定目标出现在特定位置的概率可由反向投影直方图反映，概率最大的位置即为该目标最可能出现的位置。均值平移算法就是在目标出现概率最大的位置周围反复移动，它通过迭代来定位概率函数局部峰值，从而找到该目标的实现方法。定位则是通过寻找预定义窗口内部数据点的重心或加权平均值。OpenCV 在迭代次数达到最大值或窗口中心的偏移值小于一定阈值时判定该位置收敛到了一个稳定点。这种方法的结果很大程度上取决于初始帧中目标位置概率分布图。
由于人的肤色与周围环境颜色差距较大，故为了突出人脸的特征，采用 HSV 色彩空间的色调分量。HSV 是表述颜色的直观特性的一种色彩空间。其颜色参数有: 色调（Hue） 用角度度量，取值范围为 0°～360°; 饱和度（Saturation）取值范围为 0.0～1.0；亮度（Value）取值范围为0（黑色）～255（白色）。
首先将起始帧的图像转换成 HSV 色彩空间，用CV_BRG2HSV 即可得到色调通道分量。该分量是取值在0°～180°的 8 位分量。再用 cv：：split 函数将原先为三通道的 HSV 图像分割为三个单通道图像，从而得到色调图像。色调图像是矩向量的第一位入口，作为矩向量的第二个入口，饱和度的影响应要考虑。由于低饱和度颜色的B、G 和 R 分量几乎相等，所以低饱和度颜色的色调信息不稳定不可靠。故实际处理中要忽视饱和度低于一定阈值的像素。
图 3 HSV 转换
从转换后的 HSV 图像可以看出面部肤色与周边环境色调和饱和度大为不同，且面部色调完全相同，因此可以将 HSV 图像划分为皮肤和非皮肤部分，从而去除背景，得到右侧图像。对于起始帧，可用形状描述子圈定面部区域位置。由于视频录制过程中人物处于屏幕位置变动范围有限，故没有选取实际上相邻的两张图，而是跳过两张，以期结果更为显着。图 3a）中红色边界框为脸部图像形状描述子，图 3b）中红色边界框为图 3a）位置框，蓝色边界框是图3b）中脸部图像形状描述子。
这种高度依赖前一帧图像的算法可以提高表情识别的准确率，因为短时间内表情的变化基本是连续的，过多的微表情不符合实际。然而若起始帧中人脸定位有问题，后面的帧正确率将大受影响。同时，这种依赖前帧的算法必将随着帧数的不断增加而流失越来越多的像素点，从而能影响准确性。如果完全不依赖前帧，每张图片分别运算，无疑会大为增加算法复杂度和程序运算时间，效率得不到保证。故在尽可能保证程序运行效率和准确率的情况下，建议结合视频长度、视频各部分重要程度等因素，选取重点部分适当精析，其余部分选择合适的帧间隔，分段检测。
1.3、表情的识别———检测和匹配兴趣点
在将人脸和周边环境分离之后，用改进的 SSD 算法对面部表情进行识别。将面部图像按网格分割，检测每个网格内部关键点，通过比较块内的强度值，来比较各个图像块之间的相似度。先将面部图像分割成 3*3 的图像，在每个 3*3 的图像内部再进行 3*3 分割，共得到 81 个最小单位网格，每个最小单位网格仅与相对大一些的网格进行匹配，从而简化算法复杂度，如图 4。假设每个最小单位网格的尺寸是 W×H，那么结果矩阵的尺寸是（W-N+1）×（H-N+1）。
图 4 网格分割示意图
不论使用何种算法，对于面部表情这样细微的匹配来说，其结果都会有一些错误匹配项。本文使用比率检验法排除一些错误项。为每个关键点找两个最佳匹配项，然后排除与第二个匹配项最接近的全部最佳匹配项。而针对图像中的人脸通常有一定角度旋转和尺寸大小不确定的问题，通过计算候选人脸图像块的偏转角度和面积，并以此调整单位网格，提高匹配的准确性。利用实验人脸图像区域和质心作为配准的原点，可以抑制目标图像噪声的干扰。
最终构建了基于肤色分割和网格匹配的微表情识别系统，并用该系统测试从实验视频提取的表情图像，试验用的参照标准数据库选用的是日本女性表情数据库JAFFE，该数据库中包含了 213 幅（每幅图像的分辨率：
256 像素×256 像素）日本女性的脸相，每幅图像都有原始的表情定义。表情库中共有 10 个人，每个人有 7 种表情（中性脸、高兴、悲伤、惊奇、愤怒、厌恶、恐惧）。实验结果表明，本文采用的算法运行高效、运算简单、失误率较低，有实用价值。实验视频截取的图片序列共 277 张，其中能明显检测出人脸图片的有 234 张，这其中识别结果：中性脸 153 张，高兴 37 张，悲伤 7 张，惊奇 8 张，愤怒 14 张，厌恶 9 张，恐惧 7 张。经过后期人工排查，由于实验视频开头几秒展示的是谈判环境，故不存在含有人脸的图片，此外，录制过程中存在镜头切换的现象，导致过程中有一些图片也不包含或人脸一闪而逝，极度模糊，能明显识别出含有表情的图片与检测结果几乎完全吻合。排查的结果为：中性脸约164 张，所谓高兴的表情主要出现在视频最后双方成交时，包括过程中甲方识别乙方微表情时的高兴的表情，共约 43 张，悲伤出现 5 张，惊奇 7 张，愤怒出现 6 张，厌恶出现 7 张，恐惧 3 张主要是在甲方识别乙方表情是甲乙双方不自觉流露出的。总的失误率在可以接受的范围内，说明实验采用的算法简洁有效。统计结果如表 1 所示。
表 1 面部表情识别运行结果统计表
2、谈判情景模拟实验
2.1、实验组与对照组的设计
我们通过设计一谈判情景，由班级 32 同学组成竞争对手，实验共有 16 个谈判小组，每组 2 人，设为 01，02，…，16 组。
第一轮谈判采取随机抽签形式，两两模拟谈判过程，共 8 队谈判小组。不妨设首轮 01 组对阵 02 组，03 组对阵04 组……首轮中各组均不进行微表情识别培训。
第二轮任选两对仍然不培训，作为对照组，剩下六队任选两对，对两组谈判小组都进行微表情识别的培训，作为实验组 A，最后四对每对任选一个谈判小组进行微表情识别陪训，其中两队抽取甲方，两队抽取乙方，分别作为作为实验组 B1，实验组 B2。第二轮微表情培训的内容为对手队上一轮中的视频，从而保证实用性和真实性。
