AI规模化落地英特尔至强的七重助力.docx

《AI规模化落地英特尔至强的七重助力.docx》由会员分享，可在线阅读，更多相关《AI规模化落地英特尔至强的七重助力.docx（12页珍藏版）》请在第一文库网上搜索。

1、A1规模化落地英特尔至强的七重助力当今时代，各行各业与人工智能（A1）加速融合，通过智能化创新来寻求业务转型升级。与为数不多的顶级A1研发公司相比，大多数传统行业或企业有着更丰富的AI应用场景,推动着规模化的AI应用落地,其AI应用更具有实践意义。然而，在智能化技术架构和平台选择上，它们又往往面临着“拿着钉子到处找锤子”的尴尬局面。尽管有人津津乐道于承载AI应用的一些专用架构平台，但实际情况是，仅采用专用加速芯片或优化单一框架，已经无法满足运行不同工作负载和适应不同应用场景所需。这是因为，AI的应用需求是多种多样的，不同的应用也决定了从数据中心到边缘再到设备所需的硬件能力都会有所差别。而且，解

2、决企业AI规模化落地，需要充分利用以数据为中心的基础架构，考虑芯片处理器、核心算法和软件工具等平台解决方案的选择。无论是算法工程师、AI开发者还是数据科学家，他们在选择AI技术架构和平台时会有多方面的考量。一个共识是，基于既有的IT基础设施，统一大数据和人工智能平台，可以更加高效释放数据价值，实现A1业务目标。大家越来越发现，通用的英特尔架构有一个非常重要的先发优势，就是使用者众、部署广泛。来自英特尔架构和至强平台的助力，可以帮助企业从既有的平台起步，推动A1的发展，加速“破局”A1产业实践。下面我们从7个方面，展开阐述英特尔如何从性能、数据预处理、可扩展性、内存、模型部署、大数据分析、跨平台

3、部署应用等多方面实现优化和升级，全面支持企业A1的规模化应用落地。第一重助力：性能CPU性能优化有数量级提升，VNNI和框架优化等大幅提升了CPU架构运行深度学习推理的速度。很多人可能都认为A1这种新出现的技术，或者说应用负载，也应该用新的架构来支撑，其实不然。实际上随着CPU性能的数量级提升，以及在软硬件层面针对AI应用的不断优化,CPU平台也能很好地承载AI应用。现在CPU能兼容几乎所有的AI主流技术，深度学习的应用任务，特别是推理，完全可以用CPU来搞定。而且CPU还有一个特定的优势，就是当用户混合使用机器学习和深度学习方法时，CPU更适合承载这样的任务。不断更新换代的英特尔CPU平台，

4、已经在A1应用特别是推理上提供了强大的算力。以第二代英特尔®至强®可扩展处理器为例，它集成了加速人工智能深度学习推理的英特尔®深度学习加速(英特尔®D1Boost)技术，将人工智能性能提升到一个全新的水平，可加速数据中心、企业和智能边缘计算环境中的人工智能推理工作负载。以常见的CaffeReSnet_50模型为例来看性能变化，第二代英特尔®至强®伯金8280处理器借助英特尔D1BOOSt技术,图像识别的速度可比上一代英特尔至强可扩展处理器提升14倍。另外，英特尔CPU平台还与各类主流深度学习框架(包括TensorF1owPyTorchcaffe、

5、MXNetPadd1ePadd1eBigD1等)合作，针对CPU的AI训练和AI推理功能进行全面优化，Xeon处理器训练性能因此得到不断提升，客户也可以选择使用适合自身需求的深度学习框架做模型训练，而无需购买或者设置不同的硬件基础设施。随着软件工具的不断更新及面向主流框架的深度优化，CPU平台不论是支持基于单一AI技术的应用，还是在运行融合了多种AI技术的应用时，其性能表现都更为突出。对于全新硬件架构的每一个数量级的性能提升潜力，软件能带来超过两个数量级的性能提升。以第二代英特尔至强可扩展处理器上的VNNI深度学习加速指令为例，过去卷积神经需要三条指令，而现在的话一条指令就可以了，通过在底层的

6、软硬件协同优化，可根据不同深度学习框架将推理性能加速2-3倍甚至更多。第二重助力：数据预处理数据的处理分析和之后的AI应用如果在一个平台上，可以给用户带来更大的便利性，也能节省成本和降低风险。尽管当前市场对于AI技术抱有很大兴趣，但实施水平仍然相当低下。我们需要根据应用需求构建起完整的数据分析/AI流水线，从高质量数据源整理、数据预处理与清洗、适当特征数据的选择与构建等前期工作开始，这就要求数据工程师、算法工程师等协同工作。算法工程师往往要花很多时间，来处理用于深度学习模型训练和测试的庞大数据，数据预处理会涉及很多很零碎的事情，比如校对数据的标注是否符合某种逻辑。在进行数据预处理时，所写的代码

7、不一定是执行起来效率最高的，因为有可能这些零碎的校验数据功能只用一次，而不是反复使用。在这种情况下，可以使用方便快速实现功能的Python语言调用CPU来实现，而且基于CPU有很多现成的包和工具，具有更快数据预处理的优势。CPU还可以通过使用更多内存、减少I/O操作来提升A1运行效率。如今的深度学习和A1领域，优秀的算法和框架数不胜数，但英特尔开源的BigD1和采用了这一技术的Ana1yticsZOO平台选择了一个颇具独特性的切入点，那就是专为已有大数据集群的场景设计。目前,来自零售业、金融服务行业、医疗保健业、制造业及电信业等领域的企业客户都已经开始在英特尔至强服务器上利用Ana1ytics

8、Zoo、或基于BigD1构建更为平滑无缝的数据分析AI应用流水线。第三重助力：可扩展性CPU平台现有基础设施就是为可扩展性而搭建，不仅易于在更多节点上进行扩展，还能按核实现弹性扩展和调配。可伸可缩方为真英雄！在深度学习和机器学习领域，不管是模型训练还是推理，为了分配和部署计算能力，常常需要基于现有的IT基础设施或者云平台进行硬件扩展。目前一些专有的AI架构平台只能以卡或芯片为单位来管理和扩展，而英特尔至强平台不仅更容易在更多节点上扩展，还能按核实现弹性的扩展和调配，能真正做到精细化的资源管理和调配。这使得AI平台可以尽可能通过云化来提高灵活性，提升自动化管理水平，并充分利用到每个计算核心的价值

9、等。换句话说，现在的基础设施就是为可扩展性而搭建。比如有开发者指出，在新一代Sky1akeSP微构架芯片设计上，英特尔首次开始采用了全新网格互连构架(MeshInterconnectArchitecture)设计方式，从传统的利用环形连接，到了新设计则全面改采用网格互连的方式，来进行资料存取与控制指令的传送。因为最小单位可以是以每行、每列来连接，所以每颗Sky1ake-SP核心、缓存、内存控制器及I/O控制器之间的路径选择变得更多元，还可以跨不同的节点互连，以寻找最短的数据传递捷径，即使是加大核心数量，也能够维持很快存取数据，并支持更高内存频宽，以及更高速的I/O传输。第四重助力：内存CPU易

10、扩展缓存，而英特尔®傲腾TMDC持久内存ApachePass更是集大容量、经济性和持久性于一身，性能接近DRAM。不论是AI训练还是推理，靠近计算单元的内存或者说较高速的数据缓存都非常重要。在AI分析中，它们对训练中的神经网络构建，并通过该网络进行推理比较都有着重要的影响。因此我们希望在靠近计算单元的地方尽可能缓存更多数据。其容量的增加，会很大程度上提高AI的整体性能、准确性、响应速度。训练深度学习模型时，占用CPU内存比较大，一般来说单台刀片可以轻松做到256GB以上的内存，做分布式训练时还可以把数据分配到不同机器上进行计算，而且可以尽量把数据预存到CPUo此外，CPU大内存的优势不

11、仅体现在训练上，更主要的是推理，比如对尺寸很大的医疗影像模型进行推理处理。即使没有英特尔®傲腾例数据中心级持久内存的出现，英特尔至强处理器平台也很容易扩展内存的容量。但有了这种全新类型的产品后，内存的存储密度/价格比可能会更理想，其性能也接近DRAM,让更大量的数据可以更接近CPU进行移动和处理，极大地降低从系统存储获取数据的延迟。相比之下，专有架构平台要扩展缓存，还是很不方便的。第五重助力：模型部署英特尔技术产品从端到端是有统一的应用兼容性的，这样可以保证我们在后端训练迭代算法，前端部署推理。在深度学习实践中，是否应该去搭建一套新的专用平台？持否定意见的开发者认为，目前主要用于AI模

12、型推理的平台都是基于CPU架构的，应该利用现有的数据中心基础设施，利用现有的、熟悉的处理器平台，以最低的成本部署人工智能，这相比另起炉灶、寻找其他计算平台的方法，用时更短、风险更低、性价比更高。有开发者据此总结了三条理由：首先，现如今标准CPU平台完全能够胜任AI所有应用；其次，现在A1属于“试错阶段“，同时技术也在快速演变和迭代，利用现有的CPU平台，可以最小成本做最大的事，无需大量额外投资，但如果另起炉灶可能得不偿失；最后，用多年熟悉且信任的CPU平台，构建“激进”的AI项目，本身就是一个绝好的平衡，让技术风险变得可控。在现有英特尔架构支持的数据应用基础上构建AI应用，生产环境非常成熟，易

13、于部署，运维人员学习难度低。英特尔从云到端都有硬件平台就绪，不论是通用计算还是专用芯片（如MOVidius）,而且还有相关的软件支持，如众多优化库、框架和工具。另外，英特尔为AI应用的开发者们提供了OPenVINO等工具包，可以方便实现模型部署，优势显著。第六重助力：大数据分析英特尔至强处理器和BigD1软硬搭配，在Hadoop和Spark等主流大数据框架上，可以简化训练（数据获取+处理）过程。Hadoop和Spark是目前非常流行的大数据管理和处理框架，想利用它们承载的数据进行深度学习训练，通常需要把这些数据导出，然后进行处理，这个过程不仅耗时而且投资较大，所以在这些大数据平台上进行深度学习

14、训练显得尤为重要。有开发者认为，可以针对各种不同来源的数据，首先根据目标算法需要的数据格式，进行数据整合。得到目标数据之后，再根据业务需要，按照对应的比例，将最原始的数据分成训练数据和测试数据，通过算法对数据不断进行训练，后期进行相应的测试。其实更好的方式是打通数据流水线。英特尔的AnaIytiCSZoo（内含BigD1）打通端到端数据流水线，在Hadoop和Spark等主流的大数据框架上，把数据的收集、存储、传输、预处理、后期处理等环节，与AI的训练和预测等部分有机结合起来，就可以让企业的数据分析流水线变得高效而统一。例如，英特尔协助美的公司基于Ana1yticsZoo构建了一套端到端的产品

15、缺陷检测方案，准确率优于人工检查方法，并避免了检查工作给生产线带来侵入性影响。Ana1yticsZOo将SparkTensorF1ow以及BigD1程序整合至同一流水线当中，整个流水线能够在Spark集群之上以透明方式实现扩展，从而进行分布式训练与推理。最终使美的的图像预处理时长由200毫秒降低至50毫秒，并将延迟影响由2,000毫秒缩短至124毫秒。第七重助力：跨平台部署应用英特尔至强处理器、Ana1yticsZoo以及OPenVINo工具包，能够简化深度学习流水线，实现一站式端到端的AI应用部署。深度学习应用的开发周期很长，而且往往会涉及多个工具和平台,如何将新技术、新创新应用到非常大规模

16、、大数据的生产系统中，目前在软硬件架构上有非常大的断层。这提升了技术开发门槛，开发者十分期待从云端到终端能跨平台部署深度学习应用。2018年，英特尔开源了AnaIytiCSZ00,构建了端到端的大数据分析+AI平台，无论是用TenSorF1oW还是Keras,都能将这些不同模块的程序无缝运行在端到端流水线上，大大提升了开发效率。并且,Ana1yticsZoo也兼容OPenV1NoTM在AI应用上的加速特性。基于英特尔硬件平台、专注于加速深度学习的OPenV1NOTM工具套件,是一个快速开发高性能计算机视觉和深度学习视觉应用的工具包。英特尔®OPenV1No工具套件不仅适用于开发可模拟人类视觉的应用和解决方案,它还可以通过英特尔®FPGA深度学习加速套件支持FPGA,旨在通过优化广泛使用的Caffe和Tensor