隐喻研究正逐渐成为一门独立且成熟的学科。认知语言学家George Lakoff等认为隐喻是人类认知的产物，是人类利用某一特定领域的经验来理解另一领域的认知活动。George Lakoff等人提出的概念隐喻更强调了隐喻是认知的重要方式，隐喻的思维性和概念性已得到普遍认同。在《我们赖以生存的隐喻》一书中，Lakoff& Johnson提出“隐喻贯穿于人类的日常生活，不仅渗透在语言中，还体现在人类的思维和活动中”。
1 多模态隐喻研究
在信息科技高度发达的社会，图像、声音、文字、数字传播等多种媒介符号引领我们进入“视觉化”时代，可视电话、视频会议、网络在线交流等交际方式使人类的交际更快、更便捷、更立体。Forceville的《广告中的图像隐喻》一书标志着认知语言学范围内对隐喻的多模态研究的开端———隐喻研究摆脱了纯语言学的偏见，即意义不仅存在于语言符号中还存在于其他媒介中。在该书中，Forceville先以静态视觉隐喻为基础，通过平面广告实例说明受众基于图像与文字的互动理解多模态隐喻，后又拓展到动态多模态隐喻研究，通过电视广告和影像实例阐述受众基于图、文、影、声等的互动影响制约对多模态隐喻的识别。
1.1 多模态隐喻的定义
1.1.1 模态。要理解多模态隐喻，我们首先要定义模态。模态是信息交流的渠道和媒介，其中包括语言、技术、图像、颜色、音乐等符号系统。Forceville把模态定义为“利用具体的感知过程可阐释的符号系统”，即把模态与感官相联系，人类通过视觉模态、听觉模态、嗅觉模态、味觉模态和触觉模态感知世界、人际交际、传递信息、生存生活。
1.1.2 单模态和多模态。同时，Forceville 区分了“单模态”和“多模态”概念。“单模态”是目标域和源域只用或者主要用一种模态来展示，如语言或者图像；“多模态”是目标域和源域分别用或者主要用几种不同模态来呈现，如动画电影和动态广告。
1.1.3 多模态隐喻。“多模态隐喻”指的是通过两种或者两种以上模态来呈现源域和目标域映射的隐喻现象。多模态隐喻将目标域和源域置于多个模态中，提供认知线索，例如在图文隐喻中图像和文字互动，呈现出象征和被象征关系。模态可以进一步细分，如图像符号、书面符号、口头符号、手势、声音、音乐、气味、味道和接触等，所以多模态隐喻也可进行分类。根据物理形式，多模态隐喻可分为书面文字、有声话语、静态图像、动态图像、声音、音乐和手势。根据表现形式，多模态隐喻可分为平面多模态隐喻和立体多模态隐喻。
平面广告和政治漫画属于平面多模态隐喻，涉及图像、文字、色彩、构图等媒介符号；而立体多模态隐喻是由数种媒介集合构成，如电影和 3D 电影，涉及影像、声音、镜头、剪辑、音乐等媒介符号，协调作用，更立体，更可视化，更具冲击力和吸引力。
1.2 多模态隐喻的发展
Forceville 等学者不拘泥于语言层面，对传统隐喻观发出了挑战，提出了隐喻研究可以拓展到非语言符号平台兼顾隐喻的修辞和文体维度，突出了隐喻的动态构建本质。隐喻只有在语言符号和非语言符号平台上都是思维性的，才能被证明是人类的一种思维方式这一概念隐喻本质。
多模态隐喻研究涉及诸多领域，如电影学、广告学、传媒学和构图学等。Goodm an 聚焦于绘画艺术的隐喻研究；Kennedy涉猎了线条和插图艺术的隐喻研究；W hittock 研究了电影图像的隐喻；而Forceville撰写了大量文章阐述广告图画的隐喻。正是 Forceville 首次从认知语言学的角度对广告中的隐喻及其组成、分类进行了系统地阐述，结合大量广告实例提出了“语言和图像相互补充，相互影响”，强调了隐喻相似性的创造性和鲜活性，突出了图像语境对于识别和解读隐喻的重要性。
2 多模态隐喻的认知构建
在广告中采用隐喻来宣传产品、品牌和服务是赢得口碑的有效途径。现以一则广告实例来说明多模态隐喻的认知构建和动态整合。
2.1 多模态隐喻和转喻
认知语言学更倾向于隐喻的研究，区别于传统修辞学认为隐喻和转喻是并列的修辞方式。然而隐喻和转喻都是人类客观体验和认识世界的方式，是基本的认知现象。多模态转喻在多模态隐喻研究中具有不可或缺的作用。
转喻不仅是隐喻生成的前提，更制约着隐喻映射的特征和属性。Goossens将转喻和隐喻的互动关系概括为转喻生成隐喻、隐喻包含转喻、转喻包含隐喻和隐喻生成转喻。
2.2 多模态隐喻的特征
进行多模态隐喻研究的宏观目标一般是：探寻多模态隐喻所特有的、不同于语言隐喻的或语言隐喻研究所没有给予充分重视的规律性特征，从而进一步丰富和完善概念隐喻理论。经过学术界进行的大量研究，目前被普遍认可的多模态隐喻的区别性特征有三个。
2.2.1 动感的叙事性。Forceville& Urios-Aparis（i2009）提出，基于大量脱离语境表达式所总结出的隐喻结构公式“A 是 B”在一定程度上抹杀了隐喻动态构建的本质，不符合多模态隐喻的特征。与语言符号的高度抽象性不同，非语言模态的表征具有时空序列特征，或通过视觉的延展构建一个包含行为事件链的隐喻场景，或通过镜头的剪辑次序或声音的起伏仿拟事件的发生过程，从而将静止的定格画面转换为动感的叙事场景。
2.2.2 鲜活性。多模态隐喻能够彰显概念隐喻的质感性，例如，视觉语篇的感知图像比语言符号更能感染接受者，引发情感效应，传达语言隐喻所无法传达的视角和情感。
2.2.3 普遍性。经典概念隐喻坚持强调人类只能用具体域映射抽象域，即：具体是具体。但大量多模态隐喻的实例表明隐喻也可以用具体事物体验或理解另一个具体事物，即源域和靶域都可以是感官直接感知的事物。因此，多模态隐喻也是普遍的。
3 多模态隐喻模式分析
以视觉诗 M e up at does为例展开分析。
3.1 多模态隐喻分析综述
多模态（m ultim odal）是指除了文本之外，还带有图像、图表等符合话语，或者说任何由一种以上符号编码实现意义的文本（李占子2003）。Kress指出，所有模态都具有表达意义的潜势（Kress 2001）。
朱永生指出，多模态隐喻分析从系统功能语言学那里接受了语言是社会符号和意义潜势的观点，认为语言以外的其他符号系统也是意义的源泉；接受了系统理论，认为多模态隐喻本身也具有系统性；接受了纯理功能假说，认为多模态隐喻与只包含语言符号的话语一样，也具有多功能性，即同时具有概念功能、人际功能和语篇功能；创造的结果或许是具体的物像、可辨别的图案，亦或是激发联想的特殊标示。
Bem sen 指出，多模态表达可以分解为同时表达意义的两个或两个以上的单模态（Bem sen 2002）。多模态隐喻分析的意义在于它可以将语言和其他相关的意义资源整合起来。
3.2 M e up at does的模态分解及模态意义
根据模态的识别标准，我们把“M e up at does”分解为以下二种模态:言语模态、视觉模态。下文将对这两种不同模态的意义构建进行一一阐述。全诗如下:M e up at doesout of floorquietly Starea poisoned m ousewho is still aliveis asking whathave i done thatYou wouldn't have—by e. e. cum m ings（H . G. W iddowson 1992）3.2.1 言语模态。言语模态即构成诗歌的文字、句法、语音等符号系统。从文字上看，这首诗共由 26 个单词、8 个诗行、32 个音节组成。从语篇上看，这首诗是由 1 个小句（clause）构成的。
从语言的三大元功能，即概念功能、人际功能、语篇功能的角度来对言语模态作一简要的分析。
①概念功能。概念功能指语言用于表达说话者的内部经验世界及各事物之间的逻辑关系的功能，它主要由及物性系统来体现。本诗歌的及物性主要是通过物质过程和言语过程来体现的。物质过程是表示做某事件的过程。这个过程本身一般由动态动词来表示“，动作者”和动作的目标一般由名词或代词来表示，言语过程是通过讲话交流信息的过程。“讲话者”不一定是人。在言语过程中“，受话者”也可以作为一个参与者出现。“说话内容”可能是要传递给受话者的某个信息，也可能要受话者做某件事。
②人际功能。人际功能是指语言具有表达讲话者的身份、地位、态度、动机和他对事物的判断、推断和评价等功能，它主要是由语气系统和情态系统体现出来的。语气结构体现小句的人际功能，包括传统语法中的语气、时态和情态等内容，反映情景语境中语旨（tenor）这一变量。全诗由 2 个并列型的小句复合体和 1 个嵌入句组成。所涉及的 5 个动词的时态除了 would 外均为现在时。全诗只采用了一个情态动词的否定形式（wouldn't）。全诗除 what have I done为疑问语气外，其他均为直陈语气。对此我们的分析如下:动词现在时态和直陈语气的选用，说明作者的创造手法是以叙事为主的，并且所叙述的主题是一个现实的主题。
③语篇功能。语篇功能是指语言将其本身与其使用者所处的情景环境相联系的功能，它主要是由主述位（them e2rhem e）系统来实现的。
具体表现为说话或写文章时作者使用的语序和衔接手段。
3.2.2 视觉模态。视觉诗的视觉模态即该视觉诗的“诗形”信息或“印刷体式”的信息。它是透过排列组合文字与符号（包括标点符号），在版面上吸引眼睛造成特殊视觉效果，来强化或辅佐意义（董崇选 2004）。Kress & Leeuwen 认为，“正如语言的语法决定词如何组成小句、句子和语篇，视觉语法将描写所描绘的人物、地点和事物如何组成具有不同复杂程度的视觉‘陈述’”（Kress & Leeuwen 1996:1）。
据此，他们比照 H alliday的三大元语言功能，即概念功能、人际功能、语篇功能，分别从再现意义、互动意义、构图意义三个层面来分析视觉符号的意义建构。
再现包括叙事再现和概念再现。
①再现意义。Leeuwen 的研究表明，印刷体式也是一种模态研究，它的再现意义可以通过印刷体式所呈现的动作和特点来实现（Leeuwen 2006）。这首诗采用的是竖行形式，它不同于其他的具象诗歌，表面上看并不存在具体的物象或可辨别的图案，诗人在这里构建的是一个激发读者联想的特殊标示。但这需要读者去认真审视与思考，因为诗歌的含义被诗人贯穿于诗的形式之中，诗情画意的解读完全靠读者的心领神会来诠释。有力地烘托了诗歌的主题:人与鼠类本无差别，而这些视觉上的对等是言语和声音所力所不及的，它从一个侧面辅助了诗情、诗意的刻画。
②互动意义。互动意义是通过印刷体式所展现的互动和表现事物的态度和情感来加以考虑的。这首诗共由两个诗节组成，从印刷体式的角度来看，老鼠趴在地上惊视着诗的叙述者。为了接触到老鼠的目光，叙述者需要同时俯视着奄奄一息的老鼠。老鼠在诗中做了两件事情: 惊视（Stare）着“我”并问了（is asking）一个问题。因为老鼠在现实生活中不能说话，因此人鼠的对话要通过人的参与才能实现。也就是说，人要凝视着老鼠的目光，同时要思考如果老鼠会说话的话，它在行将被毒死之前会说些什么呢?
③构图意义。构图意义是语篇单位的组成设计和突显。印刷体式中被突出的语篇单位构成前景化，而其他语篇单位则成为背景。例如字母的形状、大小写、标点符号等都可以帮助实现这一功能。通常谦卑与傲慢是通过措辞或语音来表现的，而在这首诗里，作者却巧妙地运用了字母书写的特殊形式，在视觉上完成了人物的心里刻画，真可谓是别具匠心，运笔如神。
3.2.3 M e up at does的多模态隐喻整合构建。对言语模态的分析表明，作者在该诗歌的创作中，非常规地利用语音、文字、句法等手段，寥寥数语，道出了自己的创作目的:借用老鼠的眼睛和口对人性的弱点进行了辛辣的讽刺。对视觉模态的分析表明，视觉诗歌的创作，既要考虑诗文的音感、含义、语境等因素，也要考虑篇形。才在这首诗的创作中，透过排列组合文字与符号，在版面上传神地刻画出了无法用语言表达的人鼠对峙时那一瞬间的微妙的心理活动。
现阶段多模态隐喻研究在很大程度上仍在沿袭传统的概念隐喻观，将概念关系置于成对的心理表征之间，把隐喻定义为一种严格的具有方向性的现象，即从源域到目标域的单向映射。从认知视角对一则多模态隐喻广告语篇的意义构建进行个案分析，旨在聚焦多模态隐喻语篇中整体意义的动态构建过程.在介绍和界定多模态隐喻的基础上，文章指出多模态隐喻语篇意义构建是在两个互动（隐喻与转喻的互动，图像与文本的互动）的基础上进行概念合成。
从认知角度分析多模态隐喻意义的构建有助于阐释多模态隐喻的动态本质以及其实现审美和劝说功能的心理动因。
参考文献
[1]张丽,张志敏.多模态视角下诗画语篇解读 [J].延安大学学报 (社会科学版)，2011(3).
[2]李战子,陆丹云.多模态符号学:理论基础,研究途径与发展前景[J].外语研究，2012(2).
[3] 蒋婷婷 . 多模态隐喻建构的认知初探 [J]. 疯狂英语 ( 教师版 )，2012(2).
[4]李力.幽默的多模态[J].北京科技大学学报(社会科学版)，2012(4).
[5]陈明瑶 ,谢莉 .论多模态隐喻的认知和情感说服功能 [J]. 北京科技大学学报(社会科学版)，2012(4).
