多模态情绪分析在金融行业的应用展望.docx

《多模态情绪分析在金融行业的应用展望.docx》由会员分享，可在线阅读，更多相关《多模态情绪分析在金融行业的应用展望.docx（4页珍藏版）》请在第一文库网上搜索。

1、2023年以来，受新冠肺炎疫情影响，各金融机构积极探索和大力推广基于音视频或智能机器人的智能远程“非接触式”服务。远程“非接触式”服务极大便利客户的业务办理、有效提升客户服务体验，但也存在许多不足之处：一是在远程音视频服务过程中，客服人员无法精确感知客户的情绪，难以了解客户的真实想法；而二是数字人智能客服难以了解客户对服务的满意度，无法准确判断所提供的服务是否真正解决了客户的问题。作为近几年的研究热点，多模态情绪分析对于解决上述问题有着很好的应用前景。一、多模态情绪分析全面精准感知客户情绪UDCFutureScape:金融行业与支付科技十大预测一一中国启示预测，到2024年，40%的大型银行将

2、使用基于人工智能的情绪分析提高客户对当前以及未来产品和服务的体验。中国科学院科技战略咨询研究院、中国科学院文献情报中心与科睿唯安联合发布的2023研究前沿列出了信息科学领域ToP1O前沿热点，其中就包括基于卷积神经网络等深度学习方法进行多模态情感分析研究。可见，多模态情绪分析已经成为未来几年学界和企业着重发展的技术方向。多模态实际上是对人与人之间交互的一种模拟。人并非单一地仅通过看或听来感知外界事物，而是通过声、光、触觉等多种形式来感知接收外界信息并在大脑中进行综合分析。与之类比，在深度学习与人工智能技术发展过程中，研究者发现，不同模态数据之间也有其关联性，例如，在一段视频中，同一时间点的声音

3、、画面以及文字所表达的内容实际上是存在一定关联的，基于多个模态的数据特征进行融合分析，可以有效提升识别的准确率。情绪分析技术在金融行业己有布局，比如在最近几年，部分银行和金融机构将基于微表情的情绪分析技术应用于对客服务评价及金融反欺诈场景；部分科技企业也推出了多模态情绪分析解决方案，使用的模态除了常见的微表情、声音、文本语义等之外，还包括心率、呼吸等生物特征。这些解决方案主要使用决策层融合的多模态技术，即针对每个模态的数据进行单独计算分类，并将分析结果做计算加权。然而，人类大脑对各种声光电信息的处理是同步的，并非对每项信息进行单独处理，因此，想要让机器更加拟人化，更接近人类认知情感事物的方式，

4、实现更高精度、高效率的多模态情绪感知，亟待对特征层或模型层融合的多模态情绪分析技术进行探索研究，在具备完善的算法、技术支撑能力后，为金融服务赋能，提升金融服务智慧化水平。二、多模态情绪赋能金融服务提升多模态情绪分析技术在金融行业有着广阔的应用前景。对音视频、电话、线下等渠道的人工服务监督评价在远程音视频服务过程中，客服人员无法精确感知客户的情绪，难以了解客户的真实想法，如果能够运用一些智能方案对服务过程进行自动化即时监督，将有助于大幅提升远程服务质量。针对以上场景，一方面，多模态情绪分析技术可以在一定程度上替代客户对服务打分评价，减少客户操作，并能够获取较为真实的客户反馈；另一方面，在服务过程

5、中，多模态情绪分析技术可以实时检测客户及服务人员的情绪，帮助银行等金融机构规避违规操作，避免纠纷。提升客户对数字人等智能自助服务设备的评价模态情绪分析技术可在数字人服务过程中自动检测客户满意度，获取客户对服务的真实感受，了解智能数字人存在的不足，并加以改进。对客服、催收等岗位人员的培训及测评通过软件模拟不同业务场景下客户的诉求与反应，由受训人员应答，在应答过程中检测其情绪是否合格。受训人员可反复多次训练，也可以通过该方式进行培训结业考试等。用自动化训练替代传统人工培训中需要依赖导师做的重复性训练，可节约师资成本和人力资源。助力金融反欺诈在信贷面审、信用卡尽职调查等场景，结合特定话术、问题等监测

6、客户在回答时的情绪异常波动，模态情绪分析技术可以为客户经理判断客户是否存在欺诈行为提供参考。在转账汇款等过程中，判断客户特别是老年客户群体是否存在紧张、恐惧等情绪，能够对诈骗起到一定监测作用。三、多模态情绪分析技术发展困境多模态情绪分析技术可以助力金融机构有效提升金融服务质量，但在发展和推广过程中面临着一定的挑战。一方面，目前仍缺少充足准确的公开数据集。在人为标注的情况下，由于微表情的不易察觉性，同时部分情绪的外在表现存在相似之处，标注人可能对情绪分类存在一定的误判，且没有一个统一的方法和标准可以验证其标注的准确性。另一方面，在个人隐私保护要求日益严格的大环境下，如何在不侵犯客户权益的前提下运用金融科技提供更加个性化且有温度的服务，也是金融行业急需思考的问题。