沉浸式力反馈系统设计与实现毕业论文课程设计.docx

《沉浸式力反馈系统设计与实现毕业论文课程设计.docx》由会员分享，可在线阅读，更多相关《沉浸式力反馈系统设计与实现毕业论文课程设计.docx（27页珍藏版）》请在第一文库网上搜索。

1、本科毕业论文（课程设计）题目沉浸式力反馈系统设计与实现学院专业年级班级学号学生姓名指导教师职称摘要目录绪论理论基础技术可行性分析与技术路线设计3.1 问题分析和任务分解.,3.1.1 问题的提出3.1.2 问题的分析3.1.3 问题分析和任务分解3.2 技术可行性分析3.3 技术路线设计视频音频爆炸声音检测模块设计4.1对视频中音频的解析和处理模块设计4.2爆炸声音检测模块设计基于Android的沉浸式力反馈系统设计5.1Android框架搭建及模型加载.5.2力反馈及信号响应模块设计,结论671212121212131416161922222224参考文献25致谢26沉浸式力反馈系统设计与实

2、现摘要信息技术的发展始终为消费升级提供着支撑。随着电子技术的不断发展，计算机的性能正在以指数级别的速度增长。得益于这种电子硬件处理性能的高速发展，诸多需要高实时性和高算力的应用逐步实现。其中典型的就是虚拟与增强现实。传统虚拟与现实设备常常以高性能计算机作为控制器。然而随着移动设备处理性能的提升，不仅中央处理器的能力得以扩充，大部分旗舰级移动设备甚至本身就具备了仿生芯片或人工智能芯片。而随着移动终端性能的提升，这部分工作也部分被转移到移动端完成。本设计所研究的就是面向虚拟或增强现实的沉浸式力反馈系统。在虚拟及增强现实应用领域，系统和软件常常通过人机交互设备、外部传感器、中央处理单元以及软件几部分

3、构成。其中人机交互设备主要和系统使用用户直接接触，通过提供人机交互界面或体感传感器获得用户的动向和指令，并利用无线或者有线网络与数据处理中心进行交互，并向用户作出反馈。而在可作出的反馈中，主要以声音、图像、振动反馈等方式实现。本设计所要研究的就是面向虚拟或增强现实的沉浸式力反馈系统。以典型的元素识别作为沉浸式的实现依据。通过设计选取尖锐爆炸声作为识别和反馈的目标，对指定音视频中符合识别特征的部分进行识别，并利用设备自有的振动反馈模块，进行力反馈。本设计涉及到视频语音流解析、声音识别和分类、移动端模型和识别模块加载以及移动终端APP设计开发。关键词：虚拟现实人工智能移动终端Designandim

4、plementationofimmersiveforcefeedbacksystemAbstractThedevelopmentofinformationtechnologyhasalwaysprovidedsupportforconsumptionupgrading.Withthecontinuousdevelopmentofelectronictechnology,theperformanceofcomputerisincreasingatanexponentialrate.Thankstotherapiddevelopmentofelectronichardwareprocessingp

5、erformance,manyapplicationsrequiringhighreal-timeandhighcomputingpoweraregraduallyrealized.Thetypicalonesarevirtualandaugmentedreality.Traditionalvirtualandrealitydevicesoftenusehigh-performancecomputersascontrollers.However,withtheimprovementoftheprocessingperformanceofmobiledevices,notonlythecapac

6、ityofCPUcanbeexpanded,butmostflagshipmobiledevicesevenhavebionicchipsorartificialintelligencechips.Withtheimprovementoftheperformanceofthemobileterminal,thispartoftheworkisalsopartiallytransferredtothemobileterminal.Thisdesignstudiestheimmersiveforcefeedbacksystemforvirtualoraugmentedreality.Inthefi

7、eldofvirtualandaugmentedrealityapplications,systemsandsoftwareareoftencomposedofhuman-computerinteractionequipment,externalsensors,centralprocessingunitandsoftware.Thehuman-computerinteractionequipmentismainlyindirectcontactwiththeusersofthesystem,obtainstheuserstrendsandinstructionsbyprovidingthehu

8、man-computerinteractioninterfaceorsomatosensorysensor,interactswiththedataprocessingcenterbyusingwirelessorwirednetwork,andgivesfeedbacktotheusers.Inthefeedbackthatcanbemade,itismainlyrealizedbysound,image,vibrationfeedbackandsoon.Thisdesignistostudytheimmersiveforcefeedbacksystemforvirtualoraugment

9、edreality.Typicalelementrecognitionisusedasthebasisfortheimplementationofimmersion.Throughthedesign,thesharpexplosionsoundisselectedasthetargetofrecognitionandfeedback,thepartinthespecifiedaudioandvideothatmeetstherecognitioncharacteristicsisrecognized,andtheforcefeedbackiscarriedoutbyusingthevibrat

10、ionfeedbackmoduleoftheequipment.Thisdesigninvolvesvideovoicestreamanalysis,voicerecognitionandclassification,mobileterminalmodelandrecognitionmoduleloading,andmobileterminalAppDesignanddevelopment.Keywords:VirtualReality;ArtificialIntelligence;MobileTerminal1绪论信息技术的发展始终为消费升级提供着支撑。随着电子技术的不断发展，计算机的性能正

11、在以指数级别的速度增长，其直接体现就是：人类社会所能够设计和生产的电子处理芯片的性能正在依照摩尔定律所猜测的速率逐阶段提升，“集成电路上可以容纳的晶体管数目在大约每经过18个月便会增加一倍”。得益于这种电子硬件处理性能的高速发展，诸多需要高实时性和高算力的应用逐步实现。其中典型的就是虚拟与增强现实。传统虚拟与现实设备常常以高性能计算机作为控制器。然而随着移动设备处理性能的提升，不仅中央处理器的能力得以扩充，大部分旗舰级移动设备甚至本身就具备了仿生芯片或人工智能芯片。及时不具备独立的人工智能芯片，部分新机型也搭载了性能强劲的移动版图形处理器。这就使得在移动终端上实现虚拟现实和增强现实成为了可能。

12、在虚拟及增强现实应用领域，系统和软件常常通过人机交互设备、外部传感器、中央处理单元以及软件几部分构成。其中人机交互设备主要和系统使用用户直接接触，通过提供人机交互界面或体感传感器获得用户的动向和指令，并利用无线或者有线网络与数据处理中心进行交互，并向用户作出反馈。而在可作出的反馈中，主要以声音、图像、振动反馈等方式实现。对虚拟及增强现实来讲，智能识别永远是关键点。由于设备和软件永远无法预估用户的真实操作，因此大部分虚拟和增强现实的反馈都需要实时进行捕捉和验算，并通过极短的时延反馈给用户。因此为了适应广泛的场景识别需求，通常需要构建识别和分类算法，其中主要以简单的机器分类或复杂的神经网络来实现。

13、而为了尽可能降低时延，通常会将轻量级的识别放置在用户交互端，也就是移动设备上。本设计所要研究的就是面向虚拟或增强现实的沉浸式力反馈系统。本次设计将选取尖锐爆炸声作为识别和反馈的目标，对指定音视频中符合识别特征的部分进行识别，并利用设备自有的振动反馈模块，进行力反馈。本设计涉及到视频语音流解析、声音识别和分类、移动端模型和识别模块加载以及移动终端APP设计开发。2理论基础2.1 SVM支持向量机(supportvectormachines,SVM)是一种二分类模型，其通过简单的配置就可以实现二分类问题的求解。通过配置核函数，实现一些非线性的分类任务。对于声音识别领域，SVM可用作声纹模型的构建。

14、本文所遇到的高频识别和分类，在一些文献中已经有利用SVN进行音频指纹特征提取和识别的案例。2.2 深度学习与神经网络模型2.2.1 深度学习深度学习实质上是机器学习的一个进阶分支。2006年Hinton在Science上发表论文，提出了“深度信念网络”，将多层神经网络的学习方法称为“深度学习(DeepLearning)”，并且随后Hinton在ImageNet分类竞赛中使用多层卷积网络证明了深度学习的优越性。深度学习是机器学习领域的一个分支，在广义上被划分到神经网络领域，可以理解为人工神经网络的发展。相比普通神经网络，深度学习最大的特点就是学习网络层数要比普通神经网络多，并且结构也变化多样。2

15、.2.2 神经网络神经网络模型(NeuralNetworks,NNs)或被称为连接模型(ConnectionModel),是一种通过模仿人类大脑神经网络的结构和行为，进行信息处理的网络模型。它通过调整网络节点之间的相互连接达到拟合一般未知函数的目的，因而网络层次越复杂拟合能力越强。它通常表现为相互连接的“神经元”，依据“神经元”层次与连接的不同可以分为简单的感知器模型和复杂的神经网络模型。神经网络是由诸多神经元构成，每个神经元实际上就是神经网络中的一个节点。其结构大致如图2-1所示。每个神经元可以具备多个来自其他神经元的带有不同权重的输入(图中x和w),和一个自身相关的偏置输入(图中b)。通过一个激活函数f,神经元可将感知到的所有信息最终构建成一个输出y。其中每个神经元输入的权重，指的是该感知器对上一个神经元的关注程度或者