视觉艺术的具身性多模态话语的认知路径探析-牡丹江大学学报

学术研究

联系我们

《牡丹江大学学报》
国际刊号：ISSN：1008-8717
国内刊号：CN：23-1450/G4
邮箱：mdjdxxbzg@126.com
地址：

优秀文章

视觉艺术的具身性多模态话语的认知路径探析

来源：未知作者：admin 日期：2020-09-04

本文牡丹江大学学报官网文章。
[摘要]以中国古代和现代艺术作品为语料，从认知语言学理论中的互动体验、视点、概念整合和认知模型四个角度对多模态话语的一个分支部分——视觉图像进行认知上的分析后发现：基于信息取值的视觉语法解决不了当今社会的视觉困境，而基于具身体验的认知路径可以很好地诠释并解决此问题，并说明了视觉艺术具有具身性，认知语言学理论充分适用于多模态话语分析，多模态话语进入了认知转向。并且从中国古代艺术作品和现代艺术作品相对比发现，早在古代，就出现了图像的具身观看性，而中间很长时间受西方的各方面冲击，迷失了自身优良传统，而现今又有“回归”的倾向。
[关键词]多模态话语；视觉语法；认知路径；艺术；具身
在当今信息爆炸的时代，越来越多的通信设备和渠道已经帮助人们更快、更容易地获得信息，这些信息当中的重要组成部分就是图像信息。当越来越多的图像充斥着我们眼球的时候，现代大多数人的反应是“咔嚓”一声，拍个照，再在微信上打个卡，在手机里留下个印记，这种现象在当代社会是再平常不过的事情了，然而我们不禁想问，这是一种正常的现象吗？在艺术领域，Gibson提出身体与观看的关系：当观察者站立或前进时，环境光环转换为一个新光阵。[1](332)他表达的意思就是伴随着“环境光阵”的变化，视觉认知也会产生变化，视觉观看随着身体位置的不同而不同。支宇针对汉学家迈克尔·苏立文对中国艺术评论的语料提出“具身观看”这一术语，强调观看的体验性，身体的流动性。[2]受此启发，本文基于认知语言学理论框架，以展现图像到极致的艺术图像为研究对象，选取了中国古代有名的《千里江山图》，以及中国现代派画家方力均的“云”的画作和王广义的《大批判》的系列作品作为研究对象——古代与现代相结合进行论证图像的认知转向。对此本研究提出了以下三点疑问:（1）以系统功能语言学为基础的视觉语法对于图像的具身性解释是否具有局限性，这种局限性体现在哪些方面?（2）认知语言学中的隐喻转喻理论解释多模态话语，认知语言学其他理论是否同样适用于多模态话语？（3）在对前人的多模态研究当中，大多数学者以海报、商标和网站等广告宣传为研究对象，研究对象单一，以艺术图像为研究对象是否对于多模态领域有借鉴意义？
一、多模态话语的具身认知
多模态话语是一种融合了多种符号进行交际的话语。人与人的交际方式中除了语言话语之外,还有一些诸如身体特征、教学设备、网络、计算机等非语言因素的体现。[3]模态（Modality）指的是交流的渠道和媒介,包括语言、技术、图像、颜色和音乐等符号系统。[4]常见的模态有视觉、听觉、触觉、嗅觉和味觉模态。但人们往往在设计符号产品或事件的过程中运用多种符号资源建构意义，[5]因此出现了多模态。本研究重点研究对象——视觉艺术就是多模态中的视觉模态。李战子指出多模态话语为除了文本之外，还带有图像、图表等的复合话语，或者说任何由一种以上的符号编码实现意义的文本。[6]对于多模态话语，国内外学者都有大量的研究。在国内，李战子对Kress和VanLeeuwen的多模态话语的社会符号学分析方法进行了研究；[6]胡壮麟从理论和实践的角度研究了多模态化和意义的多模态构建；[7]朱永生研究了多模态话语的理论基础和研究方法；[4]顾曰国提出从内容层和媒介层两方面来分析多模态话语。[8]在国外，Martinec和Salway则详细地探讨了新旧媒体中的图文二者之间的关系。国内外学者大多数立足于系统功能语言学理论对多模态话语进行分析。[9]
视觉语法是属于当今比较热门的理论——多模态话语分析理论框架下一个小的分支，而视觉语法也是多模态话语分析运用的最为典型的理论框架之一。研究视觉语法典型人物Kress和VanLeeuwen，他们研究了模态与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等，[5][10]123于1996年正式提出“视觉语法”的概念。视觉语法具体包括再现意义、互动意义和构图意义，这三大意义是基于Halliday的系统功能语言学中语言三大功能概念功能（ideationalfunction）、人际功能（interpersonalfunction）和语篇功能（textualfunction）的基础上提出来的。其中视觉语法的再现意义，即对应于功能语法中的概念功能，包括叙事再现和概念再现，叙事再现强调的是动作的展开，变化的过程以及空间的安排，而概念再现是社会内部结构建造的过程，没有时间限制，包括存在过程。互动意义，即对应于功能语言学中的人际功能，是观看者（viewer）和参与者（participant）的互动，包括接触、社会距离、态度和情态。构图意义，对应语篇功能，表现为图像内部之间的关系与图像的位置关系，包括信息值、取景和显著性。视觉语法强调图像观看的一种规则，一种视觉体制，能帮助观看者迅速获得图像的意义，在一定时期内产生了重要影响。然而视觉语法是固化和静止的，忽略了视觉观看的对象——人，没有把人的因素考虑进去。近几年已经有国内外学者意识到视觉语法的不足，转而从认知角度研究多模态话语。Moreno&Mayer从教育的角度提出多模态学习是学习者与环境互动体验的结果。[11]Gibbons提出文学中的多模态和认知是紧密联系的，并提出认知诗学中的多模态的运用。[12](1-7)Forceville&Urios-Aparisi[13]、潘艳艳[14]、张辉&展伟伟[15]、赵秀凤[16]从隐喻的角度研究多模态话语。这些研究表明从认知语言学的角度研究多模态话语的可行性，多模态话语具有具身性。
认知语言学核心观点就是强调语言具有具身互动性，把语言、认知、现实三维度相联系。认知语言学是语言学的一门分支学科，它以第2代认知科学和体验哲学为理论背景，在反对主流语言学转换生成语法的基础上诞生，狭义认知语言学CL源于20世纪70年代末美国西部地区并得以迅猛发展，至20世纪80—90年代盛行于欧洲、北美以及其他国家，著述甚丰，活动频繁，队伍壮大。[17][18]14，36认知语言学针对生成语言学天赋观，基于体验建立起来的基本认知方式，提出：语言的体验、学习及运用，理论框架主要包括互动体验、范畴化、概念化、认知模型、意象图式、隐喻转喻、主观识解、概念整合等。[17][18]14，36本文主要基于互动体验、识解中的视点、概念整合和认知模型这四个方面来对图像观看进行研究。
互动体验是认知语义学中的一个核心观点，这与唯物主义的基本观点是吻合的，承认存在决定意识和意义。第二代认知科学也持这种观点，反复强调心智的体验性，认为人类在对外部世界种种现象的感知体验过程中才逐步形成范畴、概念和思维，抽象出认知模型，建立认知结构，获得意义。[18][19]这种体验包括身体经验和空间体验。而语言的互动观认为语言主要是人们在对现实世界感知体验的基础上通过认知加工而逐步形成的，是主客体互动的结果。[17][18]14，36从语言的角度，互动体验强调语言的具身性；而从图像的角度，互动体验强调图像的具身性。
视点理论是认知语言学理论中主观识解的重要组成部分。Langacker认为“识解”是指人们可用不同方法认识同一事态的能力，[19]147而视点就是涉及观察者与事体之间的相对关系，是观察者确认与事体关系的相对能力。赵永峰认为每个人都有一双眼睛，它们长在各人的身上，这就决定了每个人看世界都有各自的视角,常以自身为参照点来观察世界和他人。[20]从图像的角度来看，视点就是观察者从不同角度对图像的认识与了解。
概念整合理论是Fauconnier&Turner在心智空间理论的基础上进一步研究而提出来的，认为概念整合是人类最常见的一种心智运作。[21]310，311认知语义学家认为意义不完全是通过其组成部分的意义和组合方式而获得的，而常是通过互相作用，激活相关认知域，进行整合而获得的，达到1+1大于2的效果。在对图像进行整合的过程中，与视点相结合，不同视点把图像进行整合获得完全不同的结构。
模型是指某个事体的定型样式。认知模型就是人们在认识事体、理解世界过程中所形成的一种相对定型的心智结构，是组织和表征知识的模式，由概念及其间的相对固定的联系构成。[17][18]14，36Lakoff于1980年和1987年提出了理想化认知模型。所谓理想化认知模型，是指特定的文化背景中说话人对某领域中的经验和知识作出的抽象的、统一的、理想化的理解。理想化认知模型是大脑中产生与某事体相关的所有知识。在图像的理解上，虽然图像进行了新一轮的创新，人们对其图像的认知还能感知到其原图像的模样。[21]310-311
二、视觉艺术的多模态话语认知解读
中国古代视觉艺术与中国现代视觉艺术和认知语言学倡导的具身互动具有千丝万缕的关系。中国古代视觉艺术典型代表——卷轴画，从中国传统绘画的形制上来说，一般指在纸绢上的作品，为便于收藏保护与欣赏，需装裱成各种形制，包括手卷、挂轴、屏条、册页统称“卷轴画”。[22]12-19中国古代卷轴表现诸样式中的程式与程式化问题，采用了各种典型表现样式的线条、用笔、设色、晕染、质感和立体感表现等技法特征。[23]这些技法特征的运用，加深了观看者获得绘画内容的难度，这要求观看者必须花费一定的时间、运用一定的方法来欣赏这些画作。而中国现代绘画艺术内容十分丰富，暗合了杂乱与过渡的中国现代艺术和社会的潜流，从80年代的伤痕绘画、乡土绘画、理性绘画、上世纪90年代的泼皮和玩世实际主义、政治POP、艳俗绘画等，而表现形式更是丰富多彩，因而对于欣赏者身体的移动、视点的转换等都要求极高。因此，视觉艺术欣赏和认知语言学提倡的具身性是相契合的。
三、结语
面对当今社会面临的快餐式图像冲击，视觉语法强调的静止、固定的观看方式显然解决不了当今社会问题，而认知科学强调的“具身观看”则可以很好地诠释并解决此问题。本研究在认知语言学的理论框架下，对中国古代艺术作品和现代艺术作品进行探讨，选取了中国古代典型代表作《千里江山图》，现代艺术代表人物方力钧和王广义的作品，从认知语言学中的互动体验、视点、理想认知模型和概念整合理论视角来分析，充分体现了图像的具身性，而图像隶属于多模态话语一个分支，从而得出多模态话语应走向认知道路的结论。从选取的作品来看，中国古代作品和现代作品对比发现，在古代，图像观看就具有具身观看性，而中间很长时间受西方的各方面冲击，迷失了自身优良传统，而现今又有“回归”的倾向。中国古代优良传统需要继承，就说明图像的具身性在中国有根可循，有据可证。这对当今所流行的功能语言学多模态话语分析倡导的视觉语法可谓是“当头一棒”，这充分论证了图像观看必须走出视觉语法的框架，走向认知道路才有出路，说明认知语言学理论除了隐转喻之外，其他认知理论也充分适用于多模态话语分析，说明了多模态话语的认知转向。本研究方法以艺术图像为研究对象，对于多模态领域研究具有借鉴意义。
详细内容见牡丹江大学学报收录情况；欢迎大家向牡丹江大学学报投稿。
参考文献：
[1]Gibson,J.J.TheEcologicalApproachtoVisualPerception[M].Boston:HoughtonMifflin,1979.
[2]支宇.东方的目光:中国艺术作为“具身观看”——比较艺术学视野中的迈克尔·苏立文[J].当代艺术,2018,17(04):46-49.
[3]唐四保.多模态话语协同作用在外语教学中的应用分析[J].开封教育学院学报,2016,36(7):153.

上一篇：法学与非法学专业《经济法学》马工程教材的教学比较探究
下一篇：自媒体网络视频节目价值取向分析——基于媒介偏倚和递延的探析