(人工智能融入边缘计算部署在边缘设备) 边缘智能现状和展望.docx

《(人工智能融入边缘计算部署在边缘设备) 边缘智能现状和展望.docx》由会员分享，可在线阅读，更多相关《(人工智能融入边缘计算部署在边缘设备) 边缘智能现状和展望.docx（14页珍藏版）》请在第一文库网上搜索。

1、(人工智能融入边缘计算部署在边缘设备)边缘智能现状和展望近年来，随着万物互联时代的到来和无线网络的普及，网络边缘的设备数量 和其产生的数据量都急剧增长。根据Cisco云指数的预测，到2021年，全球范 围内将有超过500亿的终端设备，这些设备每年产生的数据总量将达到847 ZB, 其中约有10%的数据需要进行计算处理。另外，智能终端设备已成为人们生活的 一部分，人们对服务质量的要求有了进一步提升。在这种情况下，以云计算为代 表的集中式处理模式将无法高效地处理边缘设备产生的数据，无法满足人们对服 务质量的需求。其劣势主要体现在以下两个方面。实时性不够。在云计算服务模式下，应用需要将数据传送到云计

2、算中心进行 处理，这增大了系统的时延。以无人驾驶汽车为例，高速行驶的汽车需要在毫秒 级的时间内响应，一旦由于数据传输、网络等问题导致系统响应时间增加，将会 造成严重的后果。带宽不足。边缘设备产生的大量数据全部传输至云计算中心，给网络带宽造 成了极大的压力。例如，飞机波音787每秒产生的数据超过5 GB,但飞机与卫 星之间的带宽不足以支持数据的实时传输。边缘计算模型应运而生。边缘计算是部署在边缘终端设备和云计算中心之间 的一种新型计算模型。边缘计算的资源是指从数据源到云计算中心路径上的任意 计算和网络资源，是一个连续系统。在该模式下，边缘设备上亦有计算。边缘计 算具有几个明显的优点：首先，边缘设

3、备处理了部分产生的临时数据，不再需要 将全部数据上传至云端，只需要传输有价值的数据，这极大地减轻了网络带宽的 压力，且减少了对计算存储资源的需求。其次，在靠近数据源端进行数据处理， 能够大大地减少系统时延，提高服务的响应时间。人工智能(artificial intelligence, AI)技术迅猛发展，它是研究、开发用于 模拟、延伸和扩展人的智能的一门新的技术科学。所谓智能，就是人脑比较过去、 预测未来的能力。人的大脑不是计算机，不会亦步亦趋、按部就班地根据输入产 生输出。人的大脑是一个庞大的记忆系统，它存储着在某种程度上反映世界真实 结构的经验，能够记忆事件的前后顺序及相互关系，并依据记忆

4、做出预测。人工智能的最大优势在于它可以通过对外部声音、图像、环境或思维方式的 处理，制定出问题的解决方法，对各类信息进行智能化的分析处理，解决人们在 生活中面对的各种难题。例如，人工智能在疾病诊断方面的应用，不仅可以辅助 医生做出诊断治疗方案，也能帮助非医学人员正确处理病情。根据对模拟得出的 数据信息的处理分析，人工智能可以快速制定出相应的解决方案，并以类比人类 思维的方式运作。在相同情况下，人工智能技术相比于人工处理更加高效快速， 极大地促进了人们生活水平的进步。人工智能技术的优势主要体现在以下两个方 面。人工智能技术可以在很大程度上解决现实生活中无法处理的难题。当人们对 模型的运算情况不清

5、楚时，人工智能可以将其很好地解决，实现由结果现象回溯 本质方法的处理。例如，针对大量杂乱、看似无关的原生数据，人们可以采用人 工智能方法对数据进行处理、分类，提取出有用的数据。人工智能可以实现对数据的加速处理。它主要是通过对外部声音、图像、环 境或思维模式行为的模仿，结合计算机技术，加快对信息和数据的处理速度，从 而给用户带来更好的体验。人工智能技术已成功应用于目标识别、智能搜索、语言处理、智能交通等领 域。然而，由于人工智能方法包含大量的计算，当前人工智能大部分计算任务部 署在云计算中心等大规模计算资源集中的平台上，这极大地限制了人工智能带给 人们的便利。为此，边缘智能应声而出。边缘智能是指

6、终端智能，它是融合网络、计算、 存储、应用核心能力的开放平台，并提供边缘智能服务，满足行业数字化在敏捷 连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。将 智能部署在边缘设备上，可以使智能更贴近用户，更快、更好为用户地提供智能 服务。随着网络技术的发展和移动设备的高度普及，边缘智能自提出以来，已引起 了国内外政府、学术界与工业界的高度关注。然而，边缘智能仍处于发展初期， 面临着巨大的挑战。2边缘智能面临的挑战人工智能方法主要包括训练和推断两部分。训练主要是利用已知结果的大量 数据来训练模型，即根据已有的大量数据来拟合模型及参数。推断主要是用拟合 好的模型对未知结果的数据结果

7、进行预测。训练过程需要大量的计算资源和存储 资源。将人工智能部署在边缘设备上，主要面临以下几个挑战。计算、存储、能耗等资源受限。相比于云计算中心等大规模服务器集群，边 缘计算的资源是指从数据源到云计算中心路径上的任意计算和网络资源（如摄像 头、网关等）。因而，边缘设备的计算、存储能力往往远远小于专用服务器的计 算、存储能力，无法满足人工智能训练所需的大量计算和存储资源。除此之外， 部分边缘设备采用蓄电池等小型供电设备，无法满足计算所需的能耗。边缘网络资源不足。根据Cisco云指数的预测，到2021年，全球范围将有 超过500亿的终端设备，每年产生的数据总量将达到847 ZBo相比而言，全球 数

8、据中心的存储能力预计仅能达到2.6 ZB,而网络流量为19.5 ZB。人工智能在“边缘”并行困难。人工智能是研究使计算机模拟人的某些思维 过程和智能行为（如学习、推理、思考、规划等）的学科。人工智能模型模拟人 脑神经元的互联关系，模型复杂，各组成部分之间依赖性强，在分布式环境下并 行困难。3边缘智能的主要研究方向计算模型的创新带来的是技术的进步，而边缘智能的巨大优势也促使人们直 面挑战、解决问题，推动相关技术的发展。针对第2节中分析的边缘智能面临的 挑战，研究人员针对性地设计了相应的解决方案。本节总结了当前针对边缘智能 难题的5个研究方向，包括边云协同、模型分割、模型压缩、减少冗余数据传输 以

9、及设计轻量级加速体系结构。其中，边云协同、模型分割、模型压缩主要是减 少边缘智能在计算、存储需求方面对边缘设备的依赖；减少冗余数据传输主要用 于提高边缘网络资源的利用效率；设计轻量级加速体系结构主要针对边缘特定应 用提升智能计算效率。（1）边云协同为弥补边缘设备计算、存储等能力的不足，满足人工智能方法训练过程中对 强大计算能力、存储能力的需求,有研究文献提出云计算和边计算协同服务架构O 如图1所示，研究人员提出将训练过程部署在云端，而将训练好的模型部署在边 缘设备。显然，这种服务模型能够在一定程度上弥补人工智能在边缘设备上对计 算、存储等能力的需求。图1云计算中心协同边计算服务器服务的过程类似

10、上述理念，2018年7月，谷歌推出两款大规模开发和部署智能连接设 备的产品：Edge TPU Cloud IoT Edgeo EdgeTPU是一种小型的专用集成电路 (application specific integrated circuit, ASIC) 芯片，用于在边缘设备上运行 TensorFlow Lite机器学习模型。Cloud IoT Edge是一个软件系统，它可以将谷歌 云的数据处理和机器学习功能扩展到网关、摄像头和终端设备上。用户可以在 Edge TPU或者基于GPU/CPU的加速器上运行在谷歌云上训练好的机器学习模 型。Cloud IoT Edge可以在Android或L

11、inux设备上运行，关键组件包括一个运 行时(runtime)。Cloud IoT Edge运行在至少有一个CPU的网关类设备上，可以 在边缘设备本地存储、转换、处理数据，同时，还能与物联网(Internet of things, IOT)平台的其他部分进行无缝互操作。(2)模型分割为了将人工智能方法部署在边缘设备，参考文献提出了切割训练模型，它是 一种边缘服务器和终端设备协同训练的方法。如图2所示，参考文献提出将计算 量大的计算任务卸载到边缘端服务器进行计算，而计算量小的计算任务则保留在 终端设备本地进行计算。显然，上述终端设备与边缘服务器协同推断的方法能有 效地降低深度学习模型的推断时延。

12、然而，不同的模型切分点将导致不同的计算 时间，因此需要选择最佳的模型切分点，以最大化地发挥终端与边缘协同的优势。图2边缘服务器与终端设备协同推理(3)模型裁剪为了减少人工智能方法对计算、存储等能力的需求，一些研究人员提出了一 系列的技术，在不影响准确度的情况下裁剪训练模型，如在训练过程中丢弃非必 要数据、稀疏代价函数等。图3展示了一个裁剪的多层感知网络。如图3所示， 网络中许多神经元的值为零，这些神经元在计算过程中不起作用，因而可以将其 移除，以减少训练过程中对计算和存储的需求，尽可能使训练过程在边缘设备进 行。在参考文献中，作者也提出了一些压缩、裁剪技巧，能够在几乎不影响准确 度的情况下极大

13、地减少网络神经元的个数。裁剪前裁剪后图3裁剪的训练模型（4）减少冗余数据传输为了节省带宽资源，部分研究人员在不同的环境中提出了各式各样减少数据 传输的方法，主要表现在边云协同和模型压缩中。例如，在参考文献中，作者提 出只将在边缘设备推断有误的数据传输到云端再次训练，以减少数据传输。在参 考文献中，作者提出在不影响准确度的情况下移除冗余数据，以减少数据的传输。（5）设计轻量级加速体系结构虽然NVIDIA公司的GPU芯片在数据中心人工智能的训练阶段占据了主导 地位，但是依靠电池供电的边缘设备需要低功耗、小面积的加速芯片才能进行有 效的推理。为此，相关研究人员从不同的角度进行了考虑，设计了许多针对边

14、缘 设备的加速体系结构。例如，在参考文献中，作者针对压缩、裁剪环境下的网络 模型设计了一个加速器。在参考文献中，与传统对不同种类应用一一对应设计加 速硬件方法不同，作者提出采用可编程硬件加速，即对不同种类的应用使用同一 硬件重写编程加速，以提高资源利用率，减小加速硬件的面积。在参考文献中， 作者提出利用可重构硬件特性，针对多种应用设计加速体系结构，在维持硬件面 积的同时扩大应用范围。在工业界，亦有公司研究低功耗加速芯片。例如，与 Altera公司和XiIinX公司研究数据中心功耗达到数十瓦的大型现场可编程门阵列 （field programmable gate array, FPGA）芯片不同

15、，Efinix公司的目标是研究功 耗只有一瓦但可以运行神经网络加速器的设备。4结束语经过近1年的发展，人工智能已在许多场景下发挥了重要作用，其巨大的优 势有望在更多方面推动科技和社会生活的进步。然而，由于人工智能对计算能力 的高需求，目前为止，人工智能的训练过程多集中在云计算中心等大规模计算集 群中，端-云间的传输时延已成为智能服务的一道门墙。为使智能更贴近用户， 更好地为人们服务，边缘智能应运而生，即结合人工智能和边缘计算技术，将智 能服务由云计算中心推送到边缘设备，以改善智能服务质量。本文总结了边缘智能面临的3个挑战，并总结了当前大部分研究人员针对这 3个挑战提出的5个方向的解决方案，包括

16、边云协同、模型分割、模型压缩、减 少冗余数据传输以及设计轻量级加速体系结构。人工智能、边缘计算已获得国内外政府、学术界和工业界的广泛关注和认可, 已在许多应用场景下发挥作用。将人工智能部署在边缘设备已成为提升智能服务 的有效途径。尽管边缘智能仍处于发展初期，然而，笔者相信，边缘智能将产生 极大的促进效果，并成为各行各业的黏合剂和智能产业发展的催化剂，促进整个 工商业体系的升级转型。附参考资料：近年来，随着全球范围内社会经济与科学技术的高速发展，信息通信技术 （information communications technology, ICT）产业不断地涌现出了许多新兴 技术。其中，有两种代表性技术被广泛认为对人类经济社会产生了巨大的推动力 与深远的影响力。其一，作为人工智能领域代表性技术的深度学习，受益于算法、 算力和数据集等方面的进步，近年来得到了突飞猛进的发展，并在无人驾驶、电 子商务、智能