“面向物联网的数据基础设施白皮书.docx

《“面向物联网的数据基础设施白皮书.docx》由会员分享，可在线阅读，更多相关《“面向物联网的数据基础设施白皮书.docx（17页珍藏版）》请在第一文库网上搜索。

1、MQ目录sm3物联网时代数字化转型的技术趋势4云计算从云转型到云原生4从云计算到边缘计算5物联网时代数据处理和分析的范式转变6生产主体：从人类行为到物理状态感知与记录6产生方式：从有波峰波谷到稳定持续产生7数据类型：从交易事务型表数据到实时分析型流数据7数据体量：从TB时代到PB/EB时代7处理方式：从批处理到实时流式计算7架构模型：从SchemaonWrite到SchemaonRead8从云原生到面向物联网的架构设计9面向物联网(IoT-Oriented)架构设计原则9面向物联网(IoT-Oriented)架构的功能特点10架构范式13连接-弹性可靠多协议，连接海量物联网设备13移动-实时消

2、息引擎，双向数据移动与分发14存储-低延时、动态扩展的云原生流数据存储15处理-云边协同的多级数据一站式实时处理15分析-实时数据分析与业务洞察，即刻决策16DataInfrastructureforIoT架构范式下的产品组合17EMQX-云原生分布式MQTT消息服务器17HStreamDB-云原生分布式实时流处理数据库17NanoMQ-超轻量边缘MQTT消息服务器18Neuron-物联网边缘工业协议网关软件18eKuiper-轻量边缘流式处理引擎18结语19前言现在，是时候思考物联网时代的企业关键业务挑战与机遇。在过去的近十年中，EMQ一直围绕物联网的连接与数据开发开源基础设施软件。如今，E

3、MQX中间件已解决了海量连接的挑战，HStreamDB流数据库则正试图解决海量物联网数据的存储、处理与实时分析。在多年为企业交付物联网基础软件过程中，我们发现企业大多以场景优先的方式构建单一物联网应用。EMQ始终认为，物联网场景与应用的核心逻辑是以数据为中心，从数据获取到业务洞察，从而创造价值。特别是中大型企业，更应以数据为中心，从数据出发思考物联网业务，在融合物联网数据与传统的企业经营数据基础上，灵活构建多样化的创新型业务，以实现企业的数字化、实时化、智能化转型。在本白皮书中，EMQ正式提出面向物联网的数据基础设施架构范式，与产业一起迎接物联网时代企业的关键业务挑战，实现企业业务创新与价值创

4、造。物联网时代数字化转型的技术趋势随着物联网技术的逐步成熟，海量设备产生的数据为企业数字化提供了更加丰富的数据基础。如何将海量数据与企业生产管理系统、业务应用系统以及运维监控系统有机结合，是企业在未来实现差异化竞争与业务创新的关键。在以物联网数据为基础的数字化转型过程中，云原生、分布式云等新技术成为催化剂，并呈现以下新的趋势：云计算从云转型到云的本质定义：云计算是一种模型模型主体如下：大量计算机构成的资源池；动态伸缩的廉价计算服务理念：使用比拥有更重要在数字化转型过程中，云计算可以为企业降低成本、提升效益，为企业业务创新以及A1等新兴技术的应用创新提供有力支撑，还能通过虚拟化技术降低其对硬件设

5、备的要求，提升基础设施的自主可控水平。云转型强调资源优化，即数据与应用上云，充分享受云的虚拟化带来的资源集约优势。云原生如果说企业上云是将云计算当作工具，开始利用云获取KubernetesxDevOps理念等。价值，那么云原生时代的来临，则意味着云的理念开始深入企业业务的核心逻辑，真正成为企业赖以提升效率的必需途径。云原生强调效能提升，即基于云模型重新设计基础设施软件架构以及应用开发模式，从而革命性地提高数字化效能，真正享受云计算红利。其具有极致弹性、服务自治、故障自愈、规模复制等特点。由于过去所依赖的基础架构软件的系统设计的边界被打破，可以在全新的Tradeoff下完成设计，因而诞生了从软件

6、产品到开发方式的一系列变革。如Docker与从云计边缘计算边缘计算的出现传统的云计算模型将所有数据通过网络上传至云计算数据中心，利用云计算中心的超强算力来集中解决应用的计算需求。然而，在万物互联时代，云计算的集中处理模式有三方面的不足：实时性需求与网络覆盖：随着边缘设备数量增加，设备产生的数据量持续激增，导致网络带宽和延迟逐渐成为云计算的瓶颈.保证全场景网络覆盖的高昂成本也迫使企业下放一部分计算到边缘。数据安全与隐私：随着数据采集设备的普及，直接将采集的数据上传至云计算中心会增加泄露用户隐私数据或企业核心数据资产的风险。大量搜集客户群体画像信息上云也带来个人隐私泄露问题，与隐私相关的数据将更多

7、在边缘分析。能耗较大：随着云服务器运行的应用程序越来越多，未来大规模数据中心对能耗的需求将难以满足。提高能耗使用效率本身并不解决根本问题，万物互联时代问题更加突出。边缘计算模型中，边缘设备具有执行计算和数据分析的处理能力，将原有云计算模型执行的部分或全部计算任务迁移到网络边缘设备上，降低云服务器的计算负载，减缓网络带宽的压力，提高万物互联时代的数据处理效率。边缘计算的挑战边缘计算解决了诸多云计算集中化处理带来的问题，但也同时衍生了新的挑战：云边协同难：边缘计算在延迟和可靠性等方面的优势明显，但当企业试图全局管控所有边缘节点时，云所擅长的地方边缘计算大多无法满足，且两者协同工作的运维复杂度指数级

8、增加。边缘设备互操作难：过去的云上业务可通过微服务化或者服务网格实现业务间或者API间的互操作，但IoT产业数据基础设施大多数是纵向数据而非横向数据连接，边缘设备之间的互操作困难重重，极大的制约了边缘计算的应用开发潜力。物联网时代数据处理和分析的范式转变生产主体：从人类行为到物理状态感知与记录互联网时代，数据产生的源头是人类基于PC机操作的行为和触发的事件等相关的记录，该类数据范式与交易型数据非常类似。移动互联网时代，由于人类开始使用手机，使用时长相比PC机时代大幅增加，数据源自基于手机的操作行为和触发的事件等相关的记录；不仅如此，在手机上的多个传感器开始源源不断的产生时序数据，催生消费物联网

9、的第一批应用。随着企业数字化转型与数据驱动转型的深化，越来越多的企业开始基于可连接传感器设备实现企业全生命周期的数据化，产业物联网正式崛起。CuMcxiMDSnorOatInternetInternetofThings当数据生产主体从人类转移到机器时，数据基础设施的技术架构思路也会发生相应变化。主要变化如下：从行存储到列存储到行列混排与向量化计算；从应对中低频间断产生型数据到应对高频持续产生型数据；从SchemaonWrite到规则引擎到复杂函数式流计算。产生方式:从有波峰波谷到稳斛续产生移动互联网时代的IT基础架构很大一部分努力是为了应对短时间的波峰，因此诞生了一系列分布式系统和中间件，强调

10、架构的高弹性和服务自治，强调弹性。物联网时代的数据绝大多数情况下不会出现波峰波谷，更常见的情况是以稳定速率持续不断的产生新数据，对架构的要求与移动互联网时代完全不同。数据类型：从交易事务型表1孀到实时分析型涮婢过去的数据本质上记录的是事件，一个事件有时间、地点、人物、属性、ID、等等，也就是事务型数据，以事务负载和聚合分析型负载为主。事务型负载强调事务支持和一致性，而聚合分析型负载的计算模型主要是批处理或向量化计算。物联网的数据本质上是对真实世界每时每刻状态的记录，由于时间并不会停止，因此物联网时代的数据也是持续不断地产生，针对每一个特定的可变状态，都是一系列的不同时间点和地理位置坐标下的具体

11、值。因此，物联网时代的数据应用场景以时序型事务、时序型分析和实时数据服务为主。时序型事务强调最终一致性，时序型分析强调预测能力，实时数据服务强调流计算。当占据全球数据圈的主导力量变为实时流数据时，首先是数据体量会上升几个数量级，随之而来的是数据处理方式也会相应发生变化，并且，实时数据产生的是稳定的数据流。移动互联网时代产生数据的本质源头是人类，过去20年内，全球人口从63亿增加到76亿，增加了20%在移动互联网时代，绝大多数IT基础架构处理的数据规模是TB级。物联网时代产生数据的本质源头是可连接设备，过去20年内，可连接设备数从5000万增加到500亿，增加了100倍。物联网时代，绝大多数基础

12、架构面临的是PB甚至EB级数据。陋方式：对t处理到实时流式计算过去20年来，数据处理一直在Hadoop生态圈的引领下强调处理数据的体量,而数据处理的方式主要是批处理。随着以F1inkxMateriaIizedDBxksq1DBxHStreamDB为首的面向流式计算的新一代数据基础设施陆续发布和使用，流式计算正逐渐成为数据基础设施中的主导计算范式。2:从SchemaonWrite到SchemaonRead过去的大数据软件架构通常是预先定义好数据存储结构，如关系模型，然后从数据源头经过ET1最终到达数据库或者数据仓库，当数据需要读取时便可以直接使用SQ1对整理好的数据进行查询。但这带来一些新的问题

13、：当数据写入速度非常快的时候，ET1的计算负载过高；由于ET1的过程可能会丢失原始数据,当数据模型变化时，之前的数据可能丢失；当数据模型经常性临时发生变化时，如多个应用对相同的数据源进行操作，会有三个ET1过程，此时数据会拷贝3次；与敏捷开发的理念相悖。过去很长一段时间，SchemaonWrite与SchemaonRead只是一对场景上的互补选择。随着物联网时代的来临，数据生产端与数据消费端都发生了范式变化,在大数据软件的架构设计中，SchemaonRead逐渐展露优势：物联网时代数据的写入是海量、高并发且持续的，很多时候根本来不及先算Schema再写入磁盘。SchemaonRead模式可以有

14、效保证数据高并发、稳定可靠地写入磁盘；物联网时代软件应用生态正在快速爆发，数据的使用是一个快速迭代与变化的过程，进而导致Schema长期不稳定。如果先算Schema,当应用侧发生变化需要改变Schema时就会非常棘手。SchemaonRead则可以保证Schema的灵活增删改，符合物联网时代的需求；物联网时代数据分析要求时效性，但基于以上两个问题,带来了一个矛盾：如何在SchemaonRead的模式下保证数据分析的时效性？随着Materia1ize等流数据库的崛起，大数据产业链正在尝试用新技术来解决海量数据的实时分析问题，而物联网数据将是最大的主战场。一旦流数据库彻底解决了SchemaonRe

15、ad的分析时效性问题，那么绝大部分物联网场景都将是SchemaonRead模式。从云原生到面向物联网的架构设计数据的产生与处理已然来到一个新的时代。随着云计算、边缘计算与物联网技术愈发成熟，EMQ认为数据基础设施正在从云原生(CIoud-Native)向面向物联网(IoT-Oriented)架构演进。基于此，我们总结了面向物联网(IoT-Oriented)架构的设计原则和功能特点。面向物联网(IoT-Oriented)架构设计原则移动计算优先随着计算芯片持续分化出面向各种计算负载特征的专用协处理器，如GPU、DPU等，到苹果公司最新设计的M1芯片的UnifiedMemory,以及大数据产业链的SchemaonWrite至!SchemaonReadxET1至JE1To其中都蕴含了相同的架构设计思想：减少数据搬移，减少数据拷贝，优先移动计算而非移动数据。在物联网场景中，移动计算优先设计原则的优势体现在：在数据量持续快速攀升、计算负载相应指数级增长的情况下，通过移动计算可以分散计算负载，提高整体计算能力；物联网时代强调决策的实时性。通过移动计算提高决策的效率，可降低端到端系统时延；端到端高可用的需求日益增长，通过分布式