基于FPGA的深度学习加速器的应用优劣势和发展研究.docx

《基于FPGA的深度学习加速器的应用优劣势和发展研究.docx》由会员分享，可在线阅读，更多相关《基于FPGA的深度学习加速器的应用优劣势和发展研究.docx（5页珍藏版）》请在第一文库网上搜索。

1、基于FPGA的深度学习加速器的应用优劣势和发展研究近年来，神经网络在各种领域相比于传统算法有了极大的进步。在图像、视频、语音处理领域，各种各样的联模型被提出，例如卷积神经网络、循环神经网络。训练较好的CNN模型把ImageNet数据集上5类顶尖图像的分类准确率从73.8%提升到了84.7%,也靠其卓越的特征提取能力进一步提高了目标检测准确率。RNN在语音识别领域取得了最新的词错率记录。总而言之，由于高度适应大量模式识别问题，神经网络已经成为许多人工智能应用的有力备选项。然而，神经网络模型仍旧存在计算量大、存储复杂问题。同时，神经网络的研究目前还主要聚焦在网络模型规模的提升上。例如，做224x2

2、24图像分类的最新CNN模型需要390亿浮点运算(F1OP)以及超过500MB的模型参数。由于计算复杂度直接与输入图像的大小成正比，处理高分辨率图像所需的计算量可能超过1000亿。因此，为神经网络应用选择适度的计算平台特别重要。一般来说，CPU每秒能够完成10-100的GF1OP运算，但能效通常低于1GOP/J,因此难以满足云应用的高性能需求以及移动app的低能耗需求。相比之下，GPU提供的巅峰性能可达到10T0P/S,因此它是高性能神经网络应用的绝佳选择。此外，Caffe和TcnsorF1ow这样的编程框架也能在GPU平台上提供易用的接口,这使得GPU成为神经网络加速的首选。除了CPU和GP

3、U,FPGA逐渐成为高能效神经网络处理的备选平台。根据神经网络的计算过程，结合为具体模型设计的硬件，FPGA可以实现高度并行并简化逻辑。一些研究显示，神经网络模型能以硬件友好的方式进行简化，不影响模型的准确率。因此，FPGA能够取得比CPU和GPU更高的能效。回顾20世纪90年代，那时FPGA刚出现，但不是为了神经网络，而是为了电工硬件原型的快速开发而设计的。由于神经网络的出现，人们开始探索、改进其应用，但无法确定其发展方向。尽管在1994年，DSReay首次使用FPGA实现神经网络加速，但由于神经网络自身发展不够成熟，这一技术并未受到重视。直到2012年I1SYgC挑战赛A1exNet的出现

4、，神经网络的发展渐为明晰，研究社区才开始往更深、更复杂的网络研究发展。后续，出现了VGGNetGoog1eNetResNet这样的模型，神经网络越来越复杂的趋势更为明确。当时，研究者开始注意到基于FPGA的神经网络加速器，如下图1所示。直到去年，IEEEexp1ore上发表的基于FPGA的神经网络加速器数量已经达到了69个，且还在一直增加。这足以说明该方向的研究趋势。图1：基于FPGA的神经网络加速器开发历史论文：ASurveyofFPGABasedDeep1earningAcce1erators：Cha11engesandOpportunitiesASurveyofFPGABasedDeep

5、1earningAcce1erators:Cha11engesandOpportunitiesTengWang1,ChaoWang2.XuehaiZhou*,HuapingChcn1,Schoo1ofSOftWarrEnginreringOfUSTC2Schoo1OfComputerScienceandTechno1ogyofUSTCSuzhou,China&a517368(?,xhzhou(211906395WVII6IGPUOTXTITANX1(MJ2MUIXG1XMOIKM6125OWVCG-I6mFFGASiratiQVGSDSIXMtU32GDDR1RSIITS61719IWVOO-

6、16SFFGAMracitVGSDS200M1rZPtMd6t21VU-DOR4tM13.9JJWvoa2sPFGAAfmIOGXIISO150MhRGIX)RM.ftw1u6M5.25VGG16阿FFGAArruIOGX115024OMHfDo1U9M.V(XI6MFrGASenitHIOOXWOWUM1rDoIUftud!UI657VOG3IFFOAAmaIOOXIISO3KJM一8662tt7S19IWV31FFGAArmIOGXIISOU5MrIGD1HU1790“7VGG-SFFGAXCKUIISI1SMHfgpftud32274QZ7WV(oMFFGAVm7VXMOT200M11，

7、aff-dup6mU4GDORJAM1nSI3242SWIbt16)64J614571STM1STM-1M116CPUXmK5230v2ItGHr.omJ210305495W1STM1M|16|GPUrxtitanxIOQ2Mi12GGIMMSI82t731250WIJTTM113)FPGAXCKUKMO20M1rGDOR1cde122674IW1STM115|FPGAVuw*7-O31IJOMHiDOR3tet32；2AIwWBi1STM112|AZywiXCZintiV266Mbb4GDDRJm32634425Wf1oU6SISBS127RevNci1te-IS2IIMCTUXmE5S0v

8、22AGH/119OM95WRc152(1GPUOTXTANX1002MmIXJGDDRStto021661660230WItet-152|24|FKjAAIrMIOGXIISO1OMb11WSRe20MRPGAArruIOGXI1SO150MHZ.f1Mt162W.(X7*-RgSOIISIFrGASirauiVGSDS20OMb*Pftud163Ro-SO|26)FFGASmO2ISOOOt5RjSoSFFGAArraIOGXIISO24UMMJ-DOR3ftud1VI6S99.61Re1S23SIHCdKH6250MFFGAStraUtIOGX2MX)300MHKDDIUftudK/16

9、SI.49Rct-mMfixcdR/16789.44IUMS2FP-DNNSVGSMDSIMMKx4GDDRJw327329225WZ16226.479fcpmcotetinihrvatetfmcMcd*ue(CMhFFOA表1：不同平台上不同模型的性能比较机遇和挑战早在20世纪60年代，Gera1dEstrin就提出了可重构计算的概念。但是直到1985年，第一个FPGA芯片才被Xi1inx引入。尽管FPGA平台的并行性和功耗非常出色，但由于其重构成本高，编程复杂，该平台没有引起人们的重视。随着深度学习的持续发展，其应用的高并行性使得越来越多的研究人员投入到基于FPGA的深度学习加速器研究中来

10、。这也是时代的潮流。基于FPGA加速器的优势1）高性能，低能耗：高能效的优点不容小觑，之前的许多研究己经证明了这一点。从表1中可以看出，GOP/j在FPGA平台上的表现可以达到在CPU平台上的几十倍，它在FPGA平台上表现的最低水平与其在GPU平台上的表现处于一个层级。这足以说明基于FPGA的神经网络加速器的高能效优势。2）高并行性：高并行性是选择FPGA平台加速深度学习的主要特性。由于FPGA的可编辑逻辑硬件单元，可以使用并行化算法轻松优化硬件，己达到高并行性。3）灵活性：由于FPGA具有可重构性，它可以适用于复杂的工程环境。例如，在硬件设计和应用设计完成之后，通过实验发现性能未能达到理想状

11、态。可重构性使得基于FPGA的硬件加速器能够很好地处理频繁的设计变更并满足用户不断变化的需求。因此，与ASIC平台相比，这种灵活性也是FPGA平台的亮点。4）安全性：当今的人工智能时代需要越来越多的数据用于训练。因此，数据的安全性越来越重要。作为数据的载体，计算机的安全性也变得更加显著。目前，一提到计算机安全性，想到的都是各种杀毒软件。但是这些软件只能被动地防御，不能消除安全风险。相比之下，从硬件架构层级着手能够更好地提高安全性。基于FPGA的加速器的劣势1）可重构成本：FPGA平台的可重构性是一把双刃剑。尽管它在计算提速方面提供了许多便利，但是不同设计的重构所消耗的时间却不容忽视，通常需要花几十分钟到几个小时。此外，重构过程分为两种类型：静态重构和动态重构。静态重构，又叫编译时重构，是指在任务运行之前配置硬件处理一个或多个系统功能的能力，并且在任务完成前将其锁定。另一个也称为运行时配置。动态重构是在上下文配置模式下进行的。在执行任务期间，硬件模块应该按照需要进行重构。但是它非常容易延迟，从而增加运行时间。2）编程困难：尽管可重构计算架构的概念被提出很久了，也有很多成熟的工作，但可重构计算之前并未流行起来。主要有两个原因：从可重构计算的出现到21世纪初的40年时间是摩尔定律的黄金