山东省高等学校省级大学生创新创业训练计划项目中期检查报告.docx

《山东省高等学校省级大学生创新创业训练计划项目中期检查报告.docx》由会员分享，可在线阅读，更多相关《山东省高等学校省级大学生创新创业训练计划项目中期检查报告.docx（11页珍藏版）》请在第一文库网上搜索。

1、山东省高等学校省级大学生创新创业训练计划项目中期检查报告学校山东大学项目编号S项目名称基于人工智能的垃圾瓶检测与分类在FPGA上的设计与实现项目负责人李敬阳项目级别省级一、项目进展情况及取得成果（按照项目研究工作计划逐一对照填写）项目进展情况（）按计划进行、（）进度提前、（）进度滞后主要研究阶段（起止时间）研窕内容完成情况2023.7.12023.1.1利用YO1Ov4架构训练空瓶数据集并做出实时检测基本完成2023.1.12023.5.4利用Vitis将yo1ov4网络转换为硬件描述语言移植到FPGA平台上运行部分完成项目研究成果（已取得的成果）序号项目成果名称成果形式1基于yo1o算法的目

2、标检测网络可执行程序2Xi1inxFPGAZU3EGU1traSca1e+MPSoC开发板运行及调试实物二、项目季度报告(项目执行的进展情况，取得了哪些成绩，是否达到预期效果，以及在项目的开展过程中还存在哪些问题，3(X)0字以内)目前本项目正处于人工智能检测垃圾瓶并进行分类的硬件移植阶段，进展良好。自项目开展以来，本团队成员开展了对于FPGA开发板技术、人工智能技术的理论学习，初步掌握了FPGA开发版的使用，学习并掌握了人工智能工作原理及其所需的PythOn及C+代码，已经在WindoWS平台上完成了YO1o算法计算机视觉网络架构的搭建，并能够使用搭建完成的计算机视觉网络完成数据集标注、数据

3、集训练、图片检测识别、视频检测识别、摄像头实时检测识别等一系列计算机视觉相关的工作。在软件工作基本完成的同时，项目组成员也迅速展开了对于FPGA开发板的调试与开发，初步完成了FPGA操作系统的安装。在已完成安装的系统中，本项目组成员已经实现了开发板使用的三种方法，同时在FPGA的1inUX系统中运行了数个计算机视觉的目标检测实例,验证了开发板具有后续进行实时检测的性能。1 .目标检测在Win1O系统上的软件实现在目标检测的软件实现方面，本项目目前采用的是A1exeyAB的YO1Ov4框架。YO1Ov4在原有YO1O目标检测架构的基础上，采用了近些年CNN领域中最优秀的优化策略，从数据处理、主干

4、网络、网络训练、激活函数、损失函数等各个方面都有着不同程度的优化，在实时目标检测算法中精度最高，实现了精度和速度的最佳平衡。下图总结了近些年的目标检测检测器的优化改进手段的方向结构组成，同时在下面对几个重要改进的部分列出了改进的方法：Tio-S（acDctcctor 图1yo1o做出的改进 InPUt部分：Image,Patches,ImageSPyramid（图像金字塔） BaCkbone部分：VGG16,ResNet-50,SpineNet,EfficientNet-B0B7,CSPResNeXt50,CSPDarknet53 neck部分：oAdditiona1b1ocks：SPP,AS

5、PP,RFB,SAMoPath-aggregationb1ocks：FPN,PAN,NAS-FPN,Fu11y-connectedFPN,BiFPN,ASFF,SFAM Heads部分：oDensePredictions（One-Stage）： RPN,SSD,YO1ORetinaNet（基于anchor） ComerNet,CenterNet,MatrixNet,FCOS（无anchor）oSparsePredictions（two-stages）： FasterR-CNN,R-FCN,MaskR-CNN（基于anchor） RepPoints（无anchor）下图为yo1ov4网络结构的采

6、用的算法，其中保留了yo1ov3的head部分，修改了主干网络为CSPDarknet53,同时采用了SPP（空间金字塔池化）的思想来扩大感受野，PANe1作为neck部分。主干网络采用CSPDarknet53为了nW0受野,采用了SPPfi跑想网络结构其他的改进策略采用PANet中的路径聚合楼块瞬用YOIOV冲的headBoF和BoS的选择采丽穗据明算法使用幽传箕法来选腌参数CmeN(妞，Nft国S化)改迸SAMSWftPANMosaicSe1fAdverdaria1Training(SAT)不使用PRU1USE1URE1U6活渊使用DrOPB1OCknJ妣方法不使用SynCBN下图为yo1o

7、v4在技术处理的思维导图:CIoU-IomCmBN（交叉小Itt标府化）OopBIockMowiicSAT（白对仄巾除）detectorCutMrMouicmKH8DIoUNMSYO1OV4使用c1ass1abe1smoothingbackboneMkh激活CSPDropBIockMIWRC使用MSCOCO数据集，在不同的GPU上，使用不同的网络跟Yo1oV4进行的对比结果：（横轴为FPS,纵轴为AP值）MSCM,OObjrctIMrctIoaMSKOIMct1nnMSC(K()hi1IMcYtixM(JObicctIMrtir(ve*图2yo1o检测与传统算法的对比目前本项目已经完成了运用y

8、o1ov4网络在WindOWS平台上进行数据集训练、图片检测、视频检测、实时检测，将在文末展示部分检测成果。2.目标检测的开发板硬件移植在硬件方面，选择了XiIinXFPGAZU3EGU1traSca1e+MPSoC的UItra96-V2开发板，U1tra96-V2是基于Arm的Xi1inxZynqU1traSca1e+MPSoC开发板。U1tra96-V2采用Microchip认证的无线电模块设计，可在全球更多国家/地区使用。此外，U1tra96-V2提供商业和工业温度级选项。使用随附的InfineonPmiCS可以实现额外的功率控制和监控。与U1tra96一样,U1tra96-V2从提供的

9、De1kin16GBmicroSD卡启动。可以选择使用集成的无线接入点功能通过Web服务器连接到U1tra96-V2,或者使用提供的1inuxMatchboxWindows环境，可以在集成的MiniDisp1ayPort视频输出上查看。提供了多个应用示例和板载开发选项作为示例。开发板可以通过板载USb接口连接DP屏、鼠标和摄像头，通过jtag串口可以连接电脑进行通信，在Sd卡中烧入镜像文件后，开发板可以跑相应的IinUX系统。目前已实现了全部三种方式使用开发板：jiag的串口通信：通过jiag连接U1tra96开发板并进行COM口通信的结果，进入IinUX的终端来对开发板进行操作。Wifi通信

10、：通过连接开发板的板载Wifi登录。开发板跑IinUX系统：使用WIn32_disk_imager将镜像烧录入Sd卡后连接DP屏，在IinUX系统中进行操作。同时本项目组己经使用安装的1inUX程序运行了数个VitiS-A1下的目标检测示例，将于报告末尾附上实例运行结果。部署前对yo1ov4的模型进行可视化的操作：图3.4可视化具体操作流程在利用Vitis将yo1ov4网络转换为硬件描述语言移植到FPGA平台上运行部分：由于开发板自带的1inUX系统无法完成darknet配置，且开发板不支持yo1o的直接移植，故我们通过xi1inx的官方教程将yo1ov4转化为caffe框架进行开发板的部署。

11、下图是我们的流程概述：通过ssh终端访问u1tra96v2开发板进行移植模型的初步测试对单张图片或视频进行检测，命令行调用模型进行检测，并在终端输出resu1t的坐标位置，在文件目录处保存resu1t的结果:对于理想瓶子:X0Rewdewomo655H).iMkr.w.1Mproc.rwtt.hppM4)RnuIY:31:42.U7QMT.5W17,30US.4MIS.)MprocVB-rw1t.hpp:44)MW1T:19ISC.S217.3419201.UfH3.:42.1771M1M5proce*_rmXt.hpp:44)KMU1T:7ns.M274.214I”.:Q.im”,M2135

12、procBS.rXt.hppM4)RtW1T:IM.4If.7m201.51，2.reot*1Mv2bcb*22-2ruraharvt%-t-19rryf1a1/Mb3ta9U2rot*Mv7.卬MSI213H:.mz八12131:.7TMCrIettGMf1Mgsg19wttentoS4M139procv.rcuK.hppz44)RtW1T:26.1W115.4IJTC4.onMrHn.111,nabjmEtMtSAy对于现实的瓶子检测效率还有待加强:root*uMv2-vcbM-202O*2:-cdurM,vtt,.1ibrryp1fZyo1ovVr8t彩2sb-bai42022:s=4r

13、/v111-11Ibr”p1yo1.tstjUotS4WIOV4y,PP.bottX3.jpgMIMI1M:I099EgbrIn409tH099iA9wfttttoSTDCWt192151SrO442.11S35.83102X621514:04:42.127S6.2421815.82563必514:04:42,127214.W427112151i:94:42,127279.WM1385ProW*u1tM44RESU1T:1365procssaarw1t.:44RESU1T:130proc9.rtu1t.1pr44RMT:A130)proc。”JeW1t.5：3】RCMT:A1385proe5.rew1t.Mp:44)WSIAT:W6.394917S.50631M.6B2iM.3W1.92415.413717.343917.43933.W18.7%6e.65BS123.466M1.64.2M1.4162.2963.156163.”00.33”62.WWRmomooV9rMtgu2stcbas2022:usrsft*revit1t.t.1Ibrarysp1_bott1v1.jpgWVUiIMG:IogtngbforIf