语言多模态

语言多模态（multimodal language），文学-语言文字-心理语言学，运用听觉、视觉、触觉等多种感觉通道，通过语言、图像、声音、动作等多种手段和符号资源进行交流思想的现象。研究者通过多种技术手段，包括行为反应时法、眼动仪研究法、事件相关电位研究法，以及各种能精确定位的脑成像技术，采集人们使用语言时各种类型的多模态数据，考察蕴含在反应时数据、发音材料以及视频、脑电、图像等各种媒介中的各种信号和数据，从多个角度考察人类交流思想过程中的语言加工过程及其发生机制。多模态语言加工研究主要包括三个传统：系统功能语言学多模态话语分析、社会符号学和会话分析。在系统功能语言学多模态话语分析中，韩礼德认为，语言是一种符号资源，用于解释所有符号的意义的产生和传播过程，注重描述不同符号资源的意义系统以及符号之间的互动所产生的意义。社会符号学以视觉语法为基础，试图发现各种符号模态的普遍规律。会话分析通过观察和描述社会互动的具体事例来研究社会互动，将社会学理论用于具体场景的实证研究。