人工智能赋能课堂反馈的伦理困境及风险化解.docx

《人工智能赋能课堂反馈的伦理困境及风险化解.docx》由会员分享，可在线阅读，更多相关《人工智能赋能课堂反馈的伦理困境及风险化解.docx（22页珍藏版）》请在第一文库网上搜索。

1、人工智能赋能课堂反馈的伦理困境及风险化解摘要：人工智能(AI)技术为课堂教学反馈带来质效提升的同时，其引发的一系列伦理问题也日益受到关注。对应用个案的系统分析有助于揭示此类伦理困境产生的深层次原因。基于对X中学课堂反馈AI系统的开发者以及教师、学生等应用者的访谈，通过三级编码分析构建的“内因一外缘”解释模型表明：课堂反馈AI系统应用的伦理困境主要由算法陷阱引起，表现为算法黑箱与算法歧视；由于算法规则的不透明和偏向性，课堂智能反馈过程呈现出数据失信、数据滥用和隐私侵犯等现象，诱发了权力失范、关系失彳野、情感异化等外发风险；这些风险表现为“师端”的教育自主权让渡，“生端”的学习自主性丧失、过度情感

2、劳动以及情感遮蔽等。化解AI赋能课堂反馈的伦理风险，应该规避算法黑箱和算法歧视，主张师生对算法规则有知情权，以学生的主动性和发展性为落脚点完善法律法规对抗算法歧视；制定数据伦理规约，确保教育数据与师生隐私的安全；建立师生与AI之间的双向平等关系，强化人机协作效用；揭示学生情感变化规律，发展师生的积极情感关系。关键词：人工智能；课堂反馈；算法陷阱；伦理风险一、问题的提出人工智能（Artificial I nte I I i gence, AI ）通过分析课堂教学活动过程，能够为教学反馈提供新思路，为个性化教学提供新方法（孙众等，2020） o许多学校与企业合作，尝试研制出学生课堂反馈AI系统，使

3、教学反馈实现从依赖教师观察、作业反馈与测验反馈向自动化、智能化、精准化与过程化反馈转变。但AI在提升课堂教学反馈质效的同时，也带来了巨大的挑战：“计算主义”至上的学习分析方式有悖于教育系统的复杂性（顾小清等，2020）；大规模采集生理信息数据的做法侵犯了学生隐私（唐汉卫等，2020）；出现“算法囚徒”的风险，甚至某些算法会不断强化自身的隐性控制，增强算法的监控属性（彭兰，2021 ） o值得深思的是，AI介入课堂是增强课堂反馈还是强化课堂控制？要实现AI与课堂教学反馈之间的“加法”，应当是计算机科学、心理学、教育学、社会学和伦理学等多学科融通的结果。本研究始于X中学课堂反馈AI系统应用引发的媒

4、体争议。X中学与H公司以提升课堂反馈效率为目标，以采集和分析学习行为数据、表情数据和认知数据为策略，合作研制了 X中学课堂反馈AI系统。该系统却被媒体称为“黑科技”“天眼” “刷脸神器” “窗外的班主任”等，认为其造成了“无形的压力” “全天把神经绷紧” “情绪压抑”等负面影响。本研究对X中学课堂反馈AI系统的应用进行追踪，旨在透过应用进程中的“故事”，探析AI应用于课堂反馈的伦理困境及成因，并尝试提出解决方案。二、文献回顾1. AI赋能课堂反馈的技术实现传统的课堂教学反馈方式具有主观性强、样本量较小、费时费力以及滞后性等局限（吴立宝等，2021 ） o AI技术的出现，推动了课堂教学反馈通路

5、的变革，实现了高效、动态、精准、智能以及自动化的反馈过程（赵瑞斌等，2021） o AI技术将摄像头、拾音器等采集的师生行为、语音、面部表情、生理信号等复杂生理特征数据化，并自动学习数据的隐形结构与内在规律，探测学习者内隐的认知与情绪状态，助力课堂反馈（刘清堂等，2019） oAI技术支持的课堂反馈研究主要从课堂行为识别、情绪计算、多模态数据融合等路径着手。Whitehi I I等（2014）通过对学习者面部表情数据的采集与计算，推断其学习参与度，增强教师对学习者参与情况的及时感知；韩丽等（2017）应用人脸检测与面部表情识别技术，分析认知行为与头部姿态、面部表情的关系；曹晓明等（2019）基

6、于脸部图像、脑电波数据以及学习日志等多模态数据集，分析学生学习参与度和活跃度。AI赋能课堂反馈呈现出学习过程监测化、认知状态可视化等趋势。但AI的融入并未为课堂教学带来深层次、大规模和结构性的变革（钟绍春，2020） o AI可提高效率和准确性，但AI的误用会对学生产生危害，而当危害发生时，AI的应用风险可能被放大，甚至带来诸多偏见（Wang,2021） o2. Al赋能课堂反馈的本体局限与伦理问题AI为课堂反馈带来便捷高效的同时，也冲击和改变了整个课堂教学生态，并诱发了一系列伦理问题（吴河江等，2020） o事实上，AI的课堂应用仍处于以深度学习为基础的弱人工智能阶段，其算法实现呈现高效率与

7、过度控制的“双刃剑”效应，彰显出AI技术自身的局限性（莫宏伟，2018） o一方面，面部与行为识别虽能采集并分析出个体的内在情绪状态，但其依赖摄像追踪和语料采集所获得的数据常常过于碎片化和缺乏规律性，无法有效进行数据融合和兼容计算（李新等，2019） o另一方面，教育过程的复杂性和教育数据的非结构性决定了教师教学过程和学生学习过程的数据不可能得到完整记录，一些和教学行为高度关联的数据常因难以数字化而缺失（赵佳丽等，2020）;此外，数据挖掘获得的个体行为和情绪数据，也不一定能准确解释深层次的学习发生机制（顾小清等,2016） o不少研究也指出了 AI技术应用于课堂反馈可能引发伦理风险。首先，面

8、部表情与内在情绪有着复杂而非一一对应的关联（黄丽凤等，2010）,简单应用数据表征学习者情绪有量化、标签化教育主体的嫌疑（苏明等，2019） o其次，判定行为、面部表情与个体内在情感之间的关系，需要采集海量数据，严重威胁教育主体隐私安全（Berendt et al.,2020） o再次，过度的行为与面部表情识别易将课堂文化引向控制和规训（安涛，2020） o最后，对学生的内心情绪进行制度化地窥探与导引，学生将被迫进行学习活动之外的情感劳动（程猛等，2021 ） o如要为学习者搭建促进其学习的智能化学习环境，需重点探析愈来愈普遍的人工智能教育应用中的伦理风险，建构对人工智能教育应用伦理限度的正确

9、认识（李政涛，2020） o三、研究设计本研究基于扎根理论，观察X中学课堂教学，并对X中学校长与H公司7名算法工程师分别进行5轮与1轮的深度访谈，对11位教师与20名学生进行2轮焦点小组访谈，之后依托三级编码分析数据并构建解释模型，探究X中学课堂反馈AI系统应用诱发伦理问题的深层次原因。编码分为三个步躲：第一步，通过开放式编码将历时一年的课堂观察资料、系统日志、访谈资料进行逐条分析、归类与概念生成；第二步，通过主轴编码将导致伦理问题的概念类属建立联结,生成主要类属；第三步，通过选择编码对主要类属进行整合与精炼，得出核心类属，并解释主要类属之间的关系。收集的资料涉及两方面主题：一是系统研发愿景及

10、与结果匹配的情况，包括分析系统的正向激励作用，对教师、学生和家长之间有效沟通的强化作用等。二是算法实现的办法,包括学生专注度、参与度判定算法模型的设计思路，分析算法与学生心理安全感、师生关系、情感激励之间的关系。研究者对收集到的资料进行整理，最终得到7万余字的访谈记录；随机选择2/3的访谈记录进行编码分析和模型构建，剩余1/3的访谈记录留作理论饱和度检验。四、资料分析1 .数据编码与分析(1)开放式编码经过多次反复阅读和比较，最终形成9个初始概念类属(如表1所示)：算法黑箱、算法歧视、数据滥用、隐私侵犯、数据失信、教育自主权让渡、学习自主性丧失、情感劳动、情感遮蔽。表1 开放式编码表概念类属算

11、法黑箱算法歧视数据滥用隐私侵犯数据失信教育自主权让渡学习自主性丧失情感劳动情感遮蔽初始概念课堂学习行为复杂，难以量化(ST-3)；数据表征单一 (ST-4);机器学习结果难以科学化解释(ET-7)；数据分析粗浅(ST-6)；数据挖掘获得更多意料之外的潜在发现(ET-3)算法存在误判风险(ST-7)；学牛.“低头”并不代表不认真(ST-8)；成绩差的学生更容易被识别出专注度不高(ST-9)未告知师生数据采集的机构、具体用途以及保存期限(ST-1)；系统中的不良记录会伴随后期的学习生活(SS-3)生活行动轨迹被完全暴露(SS-6)；面部特征数据的采集有极大的安全隐患(SS-11 )；数据的传输与存

12、储缺乏保护机制(ET-3)轮巡采集机制，学生被采集的概率不一致(ET-1)；学生数据采集不全面(SM-1 ”采集规则存在偏差(ET-5)；数据过度解读(ST-6)精准决策服务剥夺了向主决策权(ST-11 )；完全依赖系统学习分析结果(ST-9);宁愿相信机器的判断也不相信学生陈述的事实(SS-8)“寒蝉效应” (ST-8)；控制学生或者防范学生，成为“紧箍咒” (ST-1)；有被监控的压力，神经高度紧绷(58-11)；学习机器(88-7)“天眼”监视卜处处小心自己的行为,压抑真情实感(SS-5)；刻意做出系统规定的表情与动作(SS-2)很少有眼神交流(SS-12)；依据系统结果很难判断学生的认

13、知情绪状态(ST-5)(2)主轴编码在开放式编码基础上挖掘概念类属之间的关系逻辑，最终形成4个主类属(如表2所示)：算法陷阱、权利失范、关系失衡、情感异化。表2 主轴编码表主要类属概念类属类属内涵算法陷阱算法黑箱算法运行过程涉及数据输入、数据转换、数据输出三种过程,但数据转换过程之中存在难以预知的“黑箱二教育用户难以预先洞悉算法的目标、意图与风险权利失范系衡关失情感异化算法歧视数据滥用隐私侵犯数据失信育主让 习主丧教自权渡学自性失情感劳动算法并非价值中立，在设计开发、机器向我学习过程中承载了开发者与社会环境中的偏见教育大数据产生、采集、加.、使用、转让等具体流程和规则未告知师生主体.数据记录的

14、长久存储也会制学生的长远发展数据意外泄露与数据滥用造成师生信息安全隐患数据的偏向性、简单化采集与过度化解读不能反映真实情况教师教学诊断、评价以及决策等部分职能被人智能取代,教师的“知识权威”地位被不断消解与重构;人工智能融入课堂教学评价的高效与便捷会造成教师技术依赖，消解共对教学的热情与创造性高压监控卜一的被迫学习,造成“寒蝉效应”.学生不敢积极主动发言,甚至丧失了对学习的乐趣与热情课堂监控会无形中增加学生心理压力，迫使其进行智识活动之外的情绪整饰，进行频繁、高强度的情感劳动情感“精准”的课堂教学评价系统遮蔽了学生真实的情遮蔽 绪、感受,其心理安全感JI属感、信任感被忽视(3)选择性编码通过系

15、统分析，确定“课堂反馈AI系统的伦理困境”这一核心类属I绕核心类属的“故事线”可以概括为：算法陷阱是课堂反馈Al系统伦理困境的内驱动因，它直接诱致了权力失范、关系失衡、情感异化三个外发风险，权力失范、关系失衡、情感异化也间接导致算法陷阱，其关系结构如表3所示。此外，权利失范、关系失衡以及情感异化之间也存在间接的影响作用，形成了外缘闭环。以此“故事线”为基础，本研究构建了课堂反馈AI系统应用伦理困境的“内因一外缘”解释模型（如图1所示）。表3主要类属的典型关系结构典型关系结构关系结构的内涵算法陷阱I权利失范算法陷阱I关系失衡算法陷阱I情感异化算法陷阱是A1支持课堂反馈伦理困境的内驱动因,它诱发了数据权利失范的伦理风