多模态数据融合：破解智能教育关键问题的核心驱动力.docx

《多模态数据融合：破解智能教育关键问题的核心驱动力.docx》由会员分享，可在线阅读，更多相关《多模态数据融合：破解智能教育关键问题的核心驱动力.docx（27页珍藏版）》请在第一文库网上搜索。

1、多模态数据融合：破解智能教育关键问题的核心驱动力摘要：多模态数据融合旨在利用不同模态数据之间的信息互补机制提升数据分析的准确性，实现对学习主体和学习情境的精准刻画，进而还原教学过程全貌，挖掘深层次的教育规律，其已逐渐成为智能教育领域重要的技术方法和研究思想。智能教育领域常见的多模态数据类型包括外在行为表征数据、内在神经生理信息数据、人机交互数据以及学习情境感知数据。多模态数据的融合策略主要包括数据级融合、特征级融合和决策级融合，在数据分析的不同阶段选取恰当的融合策略，可以提升数据分析的准确性。在智能教育领域,关键词：多模态数据融合；智能教育；情绪识别；学习投入；情境感知；人机交互物联网、大数据

2、、人工智能等新兴技术与教育教学的深度融合推动了智能教育研究的实践进程，逐渐勾勒出以学习主体和学习情境的数据化表征为依托、以数据密集型科学的研究思想为指导、以智能时代教育现象的解释和教育规律的发现为目标的教育科学研究新样态。在此背景下，多模态数据融合逐渐受到智能教育领域相关研究人员的重视，其作为一种新的技术手段和研究思想被应用于智能教育研究的诸多场景。研究者通过对学习者和学习情境多种模态数据的采集分析，以及利用多模态数据之间的信息互补来提升数据分析的准确性，还原教学过程全貌，探究深层次教育发展规律,以此推动智能时代的教育科学研究。那么，为什么要使用多模态数据？什么样的数据能被称为多模态数据？多模

3、态数据之间怎样融合？多模态数据在智能教育领域的应用场景有哪些？它能为智能教育研究的开展带来怎样的影响？本文通过对智能教育领域多模态数据融合的应用潜能、研究现状和实践进路的梳理，尝试对以上问题进行解答，以期为后续相关研究的开展提供借鉴。一、智能教育领域多模态数据融合的应用潜能多模态数据融合是近年来智能教育领域关注的热点话题，并逐渐成为智能教育领域重要的技术方法和研究思想。模态是一个横跨自然科学和社会科学的概念，关于模态的解释主要有查理斯的符号系统说和克瑞斯的交互方式说(王慧君等，2015) o前者认为模态是可以被具体的感知过程解释的社会符号系统(Kress, 2010),例如声音、图像、文字等；

4、后者认为模态是人类通过感觉器官建立的与外部环境之间的交互方式，如视觉、听觉、触觉、嗅觉、味觉等。人工智能领域对于模态的解释偏向于“机器对外界信息的感知模式或信息通道” (Lahat et al. , 2015),认为“每一种信息的来源或者形式”都可以称为一种模态，既包含信息的表征形态和感知通道，又包含基于多种感知设备的数据采集方式。例如：用于表征学习者情绪、专注度等特征的话语、表情、身体姿态等数据可以被视为多模态数据；用于表征构成完整教育情境的学习者、教师、教学资源、教学媒体、教学活动等数据也可以被视为多模态数据。1 .多模态数据融合是一种感知和理解世界的新视角一、智能教育领域多模态数据融合的

5、应用潜能多模态数据融合是近年来智能教育领域关注的热点话题，并逐渐成为智能教育领域重要的技术方法和研究思想。模态是一个横跨自然科学和社会科学的概念，关于模态的解释主要有查理斯的符号系统说和克瑞斯的交互方式说(王慧君等，2015) o前者认为模态是可以被具体的感知过程解释的社会符号系统(Kress, 2010),例如声音、图像、文字等；后者认为模态是人类通过感觉器官建立的与外部环境之间的交互方式，如视觉、听觉、触觉、嗅觉、味觉等。人工智能领域对于模态的解释偏向于“机器对外界信息的感知模式或信息通道” (Lahat et al. , 2015),认为“每一种信息的来源或者形式”都可以称为一种模态，既

6、包含信息的表征形态和感知通道，又包含基于多种感知设备的数据采集方式。例如：用于表征学习者情绪、专注度等特征的话语、表情、身体姿态等数据可以被视为多模态数据；用于表征构成完整教育情境的学习者、教师、教学资源、教学媒体、教学活动等数据也可以被视为多模态数据。2 .多模态数据融合是一种感知和理解世界的新视角关于多模态机器学习的相关研究也越来越受到人工智能领域相关学者的关注(Baltrus aitis et al. , 2018) o3 .多模态数据融合是智能技术教育应用的关键落脚点物联网、大数据、人工智能等新兴技术的发展为多模态数据的感知与融合提供了理论和技术支持，多模态数据融合也在一定程度上促进了

7、相关领域的研究进程。多模态数据的感知与融合是智能技术教育应用的核心，能够凝聚物联网、人工智能、大数据等技术的核心效用，共同助力教育研究的数据化、科学化、智能化发展(郑永和等，2021) o(1) “多模态”之于物联网教育应用物联网和智能感知技术的发展为多模态信息感知提供了底层技术支持。利用智能感知设备实现对事物存在状态和运动方式的多通道智能感知，为多模态数据的采集提供底层硬件支持，在很大程度上实现了对学习者和学习情境的多元化数据表征。智能感知技术和物联网技术在教育领域的应用包括：一是利用摄像机、眼动仪、脑电仪、皮肤电、智能手环等设备对学习者的外在行为和内在生理信息进行多通道的数据采集，并以此为

8、依据对学习者的行为、情绪、专注度等状况进行精准分析。二是利用温度传感器、光线传感器、红外感应器、摄像机等设备实现对课堂教学情境的全方位感知与智能分析，利用多模态数据实现对课堂教学情境的智能感知与融合计算。三是利用物联网技术构建面向智慧校园的全方位监测体系，对学生的体育运动、身体健康、出行轨迹、食堂消费、课堂表现、学业成绩等数据进行实时监测，实现面向学习者的多场景、多通道、多维度的数据采集，并以此为依据实现对学习者全方位的测评分析。(2) “多模态”之于人工智能教育应用多模态数据融合和人工智能教育应用之间的联系较为紧密。一方面，以自然语言处理、计算机视觉、语音识别、生理信息识别为代表的人工智能前

9、沿技术的快速发展为教育领域的多模态数据融合研究的开展奠定了基础，多模态机器学习技术的成熟更是为多模态数据的融合提供了良好的技术解决方案。另一方面，以教育智能体、智能导学系统、教育机器人、自适应学习系统为代表的智能教育产品的设计与实现均需借助多模态数据感知与融合的方法实现机器与学习者之间的自然交互(王一岩等，2021b) o通过对学习者学业测评、心理测评、外在行为、生理信息等数据的融合分析，可以实现对学习者行为、情感、学习投入、学习动机等的精准测评，从而帮助机器更好地理解学习者的学习意图,并为其提供适切性的学习支持服务。(3) “多模态”之于大数据教育应用感知与融合计算。三是利用物联网技术构建面

10、向智慧校园的全方位监测体系，对学生的体育运动、身体健康、出行轨迹、食堂消费、课堂表现、学业成绩等数据进行实时监测，实现面向学习者的多场景、多通道、多维度的数据采集，并以此为依据实现对学习者全方位的测评分析。(2) “多模态”之于人工智能教育应用多模态数据融合和人工智能教育应用之间的联系较为紧密。一方面，以自然语言处理、计算机视觉、语音识别、生理信息识别为代表的人工智能前沿技术的快速发展为教育领域的多模态数据融合研究的开展奠定了基础，多模态机器学习技术的成熟更是为多模态数据的融合提供了良好的技术解决方案。另一方面，以教育智能体、智能导学系统、教育机器人、自适应学习系统为代表的智能教育产品的设计与

11、实现均需借助多模态数据感知与融合的方法实现机器与学习者之间的自然交互(王一岩等，2021b) o通过对学习者学业测评、心理测评、外在行为、生理信息等数据的融合分析，可以实现对学习者行为、情感、学习投入、学习动机等的精准测评，从而帮助机器更好地理解学习者的学习意图,并为其提供适切性的学习支持服务。(3) “多模态”之于大数据教育应用文本、语音、视频的多模态数据。在人工智能领域，多模态数据被定义为融合文本、语音、视频的数据表征模式。利用自然语言处理、语音识别、计算机视觉等相关方法构建的多模态分析模型，可实现对研究对象的多元解释。例如卡内基梅隆大学Zadeh等(2018)开展的多模态情感识别研究，通

12、过对研究对象文本、语音和视频数据的融合分析实现对个体情绪状态的精准识别。二是基于面部表情和身体姿态的多模态数据。计算机视觉领域强调利用研究对象的面部表情(例如眼睛、嘴巴等表情特征)和身体姿态(例如头部姿态等肢体特征)等多模态数据实现对其潜在状态进行挖掘分析，如Ashwin等(2020)构建了基于在线学习和真实课堂环境下学生面部表情、手势和身体姿态的多模态情感数据库，利用多模态数据之间的信息互补机制对学习者的情绪状态进行精准识别。(2)内在神经生理信息数据内在神经生理信息数据的采集建立在多模态生物识别技术基础上。利用多种智能传感设备，可对研究对象的呼吸、心跳、脉搏、眼动、皮肤电、脑电、血氧、激素

13、分泌水平等生理信息数据进行采集和融合分析，并对其情感状态、学习投入等特征进行识别。例如Verma等(2014)利用DEAP(Database for Emot i on Ana lysis Us i ng Phys i oIogi caISignals)数据库给出的脑电数据和外周生理数据(皮肤电反应、血压、呼吸、皮肤温度、肌电图等)实现了基于多模态数据融合的情绪识别。与基于外在行为表征数据的测评方式相比，基于神经生理信息的多模态数据感知能够克服研究对象主观意识对外在行为表征的影响，从而更加客观地反映研究对象的真实状态，因此该类数据逐渐被广泛应用于教育学、心理学、医学等领域的研究。(3)人机交互

14、数据基于人机交互的多模态数据主要关注学习者在操作人机交互设备过程中产生的点击、指纹、触觉、压感、笔迹、手势、文本输入、语音交互、面部表情等数据。例如：Schrader等(2020)利用学习者在使用平板电脑过程中的笔压力参数测量学生的愉悦感和沮丧感；Su等(2016)利用学习者的面部表情数据和文本输入数据对学习者的情绪状态和学习情境进行识别。随着智能技术的发展和智能教育产品的成熟,人机协同学习将成为未来教育的重要组成部分。因此，利用多模态人机交互数据实现对学习过程的有效还原，将会成为未来智能教育领域的重要方向。(4)学习情境感知数据上述多模态数据大多针对个体在特定时空情境下单一特征的描述。然而，

15、由于教育情境的复杂性，学者们研究的教育问题往往不仅需要针对学习者单一特征的测量，而且需要利用多源异构数据实现对完整教育情境的精准刻画，从而实现对教学生态的完整表征(穆肃等，2021) o因此，对于学习情境信息的数据化表征是未来智能教育领域研究的重点，通过对构成教育情境的人、机、物、环境等要素的智能感知与精准测评，从数据感知层面对学习情境进行全方位的测评分析，实现对教育规律的深层次挖掘分析。学习情境感知数据主要包括教师的教学行为、教学风格、教学内容、教学资源、教学设备、教育服务、教学活动、教学环境以及学生的行为、认知、情感特征数据等(王一岩等，2021c) o例如Bao (2013)认为可以利用多模态传感设备对个体在不同情境中的信息进行采集，实现对个体位置、活动、意图、行为和交互的数据记录与行为推断，从而实现对个体特征的细致刻画和对教育情境的精准感知。2 .多模态数据的融合策略多模态数据融合旨在利用机器学习和深度学习的方法对不同模态的数据