卷积神经网络发展进程.docx

《卷积神经网络发展进程.docx》由会员分享，可在线阅读，更多相关《卷积神经网络发展进程.docx（3页珍藏版）》请在第一文库网上搜索。

1、卷积神经网络发展进程卷积神经网络的发展，最早可以追溯到1962年，HUbeI和WieSeI对猫大脑中的视觉系统的研究。1980年，一个日本科学家福岛邦彦(KunihikoFUkUShinIa)提出了一个包含卷积层、池化层的神经网络结构。在这个基础上，Yann1eCUn将BP算法应用到这个神经网络结构的训练上，就形成了当代卷积神经网络的雏形。其实最初的CNN效果并不算好，而且训练也非常困难。虽然也在阅读支票、识别数字之类的任务上有一定的效果，但由于在一般的实际任务中表现不如SVM,Boosting等算法好，因此一直处于学术界的边缘地位。直到2012年，ImageNet图像识别大赛中，Hinton

2、组的A1exNet引入了全新的深层结构和Dropout方法，一下子把errorrate从25%降低到了15%,这颠覆了图像识别领域。AIeXNet有很多创新，尽管都不是很难的方法。其最主要的结果是让人们意识到原来那个福岛邦彦提出的、Yann1eCun优化的1eNet结构原来是有很大改进空间的：只要通过一些方法能够加深这个网络到8层左右，让网络表达能力提升，就能得到出人意料的好结果。顺着A1exNet的思想,1eCun组2013年提出了一个DropConnect,把errorrate降低到了11%o而NUS的颜水成组则提出了一个重要的NetworkinNetWOrk(NIN)方法，NIN的思想是

3、在原来的CNN结构中加入了一个1*1ConV层，NIN的应用也得到了2014年InIagine另一个挑战图像检测的冠军。NetworkinNetwork更加引发了大家对CNN结构改变的大胆创新。因此，两个新的架构InCePtiOn和VGG在2014年把网络加深到了20层左右，图像识别的errorrate（越小越好）也大幅降低到6.7%,接近人类错误率的5.1%02015年，MSRA的任少卿、何恺明、孙剑等人,尝试把Identity加入到卷积神经网络中提出ReSNet。最简单的Identity却出人意料的有效,直接使CNN能够深化到152层、1202层等，errorrate也降到了3.6%o后来

4、，ResNeXt,Residua1-Attention,DenseNet,SENet等也各有贡献,各自弓I入了Groupconvo1ution,Attention,Denseconnection,channe1wise-attention等,最终ImageNet将errorrate降到了2.2%,远远低于人类的错误率。现在，即使手机上的神经网络，也能达到超过人类的水平。而另一个挑战一一图像检测中，也是任少卿、何恺明、孙剑等优化了原先的R-CNN,fastR-CNN等通过其他方法提出regionproposa1,然后用CNN去判断是否是object的方法，提出了fasterR-CNNoFaste

5、rR-CNN的主要贡献是使用和图像识别相同的CNNfeature,发现feature不仅可以识别图片内容，还可以用来识别图片的位置。也就是说，CNN的feature非常有用，包含了大量的信息，可以同时用来做不同的任务。这个创新一下子把图像检测的MAP也翻倍了。在短短的4年中，ImageNet图像检测的MAP（越大越好）从最初的0.22达到了最终的0.73o何恺明后来还提出了MaSkR-CNN,即给fasterR-CNN又加了一个MaSkHead,发现即使只在训练中使用MaSkHead,其信息可以传递回原先的CNNfeature中，获得了更精细的信息。由此，MaskR-CNN得到了更好的结果。何

6、恺明在2009年时候就以一个简单有效的去雾算法得到了CVPRBestPaper,在计算机视觉领域声名鹊起。后来更是提出了ResNet和FasterR-CNN两大创新，直接颠覆了整个计算机视觉/机器学习领域。当然，CNN结构变得越来越复杂，很多结构都很难直觉的来解释和设计。于是谷歌提出了自动架构学习方法NaSNet（NeUra1ArchitectureSearchNetWork）来自动用Reinforcement1earning去搜索一个最优的神经网络结构。NaS是目前CV界一个主流的方向，可以自动寻找出最好的结构，以及给定参数数量/运算量下最好的结构（这样就可以应用于手机），是目前图像识别的一

7、个重要发展方向。今年何恺明（2019年4月）又发表了一篇论文，表示即使Random生成的网络连接结构（只要按某些比较好的Rande）m方法），都会取得非常好的效果，甚至比标准的好很多。RandO1n和NaS哪个是真的正确的道路，这有待进一步的研究了。卷积神经网络CNN的发展引发了其他领域的很多变革。比如：利用CNN,AIPhaGO战胜了李世石，攻破了围棋（基础版本的AIPhaGO其实和人类高手比起来是有胜有负的）。后来利用了ResNet和Faster-RCNN的思想，一年后的Master则完全战胜了所有人类围棋高手。后来又有很多复现的开源围棋A1每一个都能用不大的计算量超过所有的人类高手。以至于现在人们讲棋的时候，都是按着A1的胜率来讲了。