大数据下智能电网配用电数据存储技术.docx

《大数据下智能电网配用电数据存储技术.docx》由会员分享，可在线阅读，更多相关《大数据下智能电网配用电数据存储技术.docx（5页珍藏版）》请在第一文库网上搜索。

1、大数据下智能电网配用电数据存储技术大数据技术正成为各行各业的应用热点，智能配用电作为实现电网资源优化配置、电能合理利用、节能降耗和能效提升的重要手段，不仅含有量大面广的电力设备和应用系统，还包括支撑这些设备和系统正常运行的多种途径、多类型输入输出海量数据，并且这些数据容量大、采集频率高、来源渠道多样、类型复杂而价值密度低。本文针对智能配用电数据具有海量、高维度、结构化与非结构化混杂、多源异构等特点，从资源管理、元数据管理和实际数据管理3个方面阐述了智能配用电数据存储技术框架设计方案,为配用电大数据的应用奠定良好的基础。O前言配用电大数据的多源和异构的特性给数据集成和存储处理带来技术挑战，整合存

2、储配用电大数据的目的和用途是：实现配用电结构化、非结构化数据的集成，满足大数据集成和存储的高容量和高速度要求，提高数据集成和存储的效率；通过对智能配用电大数据的存储和分析，实现基于大数据的融合多源高维时序数据的用电预测、节电、网架优化、错峰调度等多种电力应用。具体而言，智能配用电数据不仅包括硬件异构，即国-网-省-市-县多级电网企业、政府机构、电力用户等配置的大型服务器等硬件资源，也包括软件异构，主要有1inUx、Window等不同操作系统和OQde、MySQ1等不同数据库，以及多参与主体根据业务所需所设计的应用平台。另外，智能配用电涉及的电网企业、电力用户、政府及第三方机构等多方主体均各自具

3、有多个应用系统。在单一主体内部的多个应用系统之间不仅所选择的数据存储软、硬件平台不一致，而且存在数据重复采集和存储现象。同时，主体与主体之间的数据存储由于涉及数据隐私、组织管理、经济能力等诸多方面，所选用的存储形式有直接附加存储DAS、网络附加存储NAS等多种形式，也存在较大的兼容性问题。因此，有必要对高维度、非结构化和结构化混合、点多面广、多源异构的智能配用电大数据存储技术进行研究。1智能电网配用电数据的构成智能配用电海量数据依据数据类型主要分为结构化数据、半结构化和非结构化数据；依据数据来源可分为电网内部数据和电网外部数据，且这些数据一般以信息集成化平台的方式呈现。数据呈现以下几个特点：（

4、1）结构化、半结构化与非结构化共存。智能配电网相关的传统业务主要由结构化数据支撑。随着分布式电源、客户日志信息分析等高级应用业务分析的发展，智能配用电的基础分析数据逐渐包括了Web页面、文本、视频等半结构化和非结构化数据。另外，电网企.业、用户等特定应用网站的Web类半结构化数据也快速增长，这就形成了结构化、半结构化和非结构化数据混存的情形。（2）数据维度相当大。一方面，智能配用电数据所属的多个主体之间，原则上相对独立，数据采集和存储的时序性基本无法保证一致，致使数据的维度较大；另一方面，电力企业的各个业务也是相对独立运行，每一个独立系统所选择的数据采集时间较难保证一致性,也使其数据维度大幅增

5、加。（3）数据颗粒度混杂。a.不同应用系统由于自身业务特色需要，数据的颗粒度需求不同。b视频、音频、文本等非结构化数据格式不同，存储空间范围和元数据的内存划分尺度不同。c.相同数据格式的结构化数据，不同用户的数据的容量大小和属性不同。d半结构化数据的来源渠道多样，时间尺度、采集精度、频率差异性较大。2智能电网配用电数据存储技术框架的设计依据数据存储所涉及的存储介质、映射地址和物理空间，将智能配用电数据按照资源管理、元数据管理和实际数据管理3个方面进行框架设计，如图1所示。际据理-数实数管一元INOSQ1实际数据分配策略分布式分层分区管理Au据管数据预处理H元数据分类H中间件技术理资源动资源调态

6、分配度管理T内部资源管控负载均衡网络VPN技术I服务器外部需求响应路由器、交换机等网络设备数据源Wt数据fWI化数据图1智能配用电数据存储技术架构2.1资源管理智能配用电数据存储的物理资源具备多方面异构。为此，针对多源异构的智能配用电IT资源，资源管理的工作原理是：首先，通过虚拟化技术在智能配用电所涉及的国-省-市-县的硬件平台上构建MaSter/S1ave集群的逻辑结构；其次，通过负载均衡完成智能配用电数据存储资源动态分配；最后通过资源调度，实现电力系统智能配用电的存储资源高效运转。（1）虚拟化技术本文主要采用虚拟机VM和虚拟网络2种技术，即在智能配用电中，利用虚拟机技术将现有的配电自动化主

7、站平台虚拟成为智能配用电的大数据资源层的主节点，将区/市/县配用电相关的前置子系统以及电网企业外网的政府、电力用户与第三方机构等IT资源虚拟化为从节点：利用虚拟网络技术将用于连接各个物理设备的路由器、交换机等网络设备虚拟化，从而使数据存储资源对使用者或者管理者保持逻辑完整性,组成一个智能配用电大数据中心集群。（2）负载均衡模型经过虚拟化后，智能配用电的电网内、外部的计算资源构成了一个完整的资源池，为保障接入的每一个IT计算资源能够高效、可靠运行，需要进行合理优化，为此对整个资源池构建数学模型。智能配用电负载均衡模型是一个非线性的整数规划模型，在实际的运行过程中，依据实际的任务量、节点数等具体数

8、据信息，采用遗传算法、蚂蚁算法、BP神经网络算法等进行求解，从而获得最优解，实现资源池的优化利用。（3）资源调度智能配用电的IT资源经过虚拟化和负载均衡优化，已达成了资源的基本分配，但要实现智能配用电存储资源的高效运转，资源调度非常必要，依据实际的功能需求，设计其组成模块，如图2所示。2.2 元数据管理多样性的海量智能配用电数据存储之前,如何根据实际数据大小情况,快速判断、辨析、分配指定的存储空间，形成有效的地址映射（元数据）是数据存储的第一步，因此，形成标准化的系统可识别的元数据,并在此基础上,进行元数据管理是大数据存储至关重要的一步。元数据管理主要采用数据预处理和数据中间件2种技术。其中，

9、数据预处理主要负责结构化和非结构化数据的辨析，生成XM1格式的元数据；中间件主要完成元数据仓库管理。（1）数据预处理智能配用电数据预处理策略是：对结构化数据和非结构化数据进行数据筛选、数据变换和数据标准化,最终实现将结构化和非结构化数据的元数据以XM1格式存入MaSter节点中，从而完成数据预处理工作。数据进行初步的分类完毕后，依据分类的规则分别提交给相对应的中间件，从而形成XM1元数据仓库，有利于发现相同或者相近元数据，方便进行合并、组合或者重新排序等，达成对元数据的降维存储。（2）中间件技术中间件技术是一种在不同技术之间共享资源的系统软件或服务程序的统称,有终端仿真、数据访问、消息等多种不

10、同的应用形式。本文采用的中间件是数据访问中间件技术，主要负责元数据的关联、整合、协同、互动和按需服务等，实现XM1元数据仓库的管理，可分为配置、关联、开关、读、写、查询、删除和迁移等多个子模块。2.3 实际数据管理高维度、多源异构的智能配用电实际数据，在元数据（实际数据存储的逻辑地址）形成的基础上，依据其映射关系，采用NoSQ1技术对实际数据进行分布式存储管理。智能配用电实际数据存储策略如下：a.电网企业内、外网的实际数据完全分层存储，即电网企业内部数据仅仅存储于电网内，电网企业外部数据存储在相应的电网外。b.将配电自动化、GIS.用电信息采集系统以及95598等内网数据按照电压等级属性进行分

11、类，即电网内部数据分为I1OkV、35kV、IOkV、0.4kV数据分别进行分类存储；电网企业外部数据依据政府、第三方机构、电力用户等不同对象分别进行存储。C.最小路径分配存储策略，即以MaSter节点为出发点，先从元数据仓库中查询到所属类别的对应XM1数据表：然后从元数据XM1表中分配足够的存储空间给实际数据，若同类元数据XM1表中剩余存储空间不足时.，以相邻最近为原则以续存方式给实际数据分配所缺额的存储空间；最后依据分配指令对实际数据进行存储操作。3结语本文设计方案从先进理念上对智能配用电的大数据存储进行了前期框架设计,受限于大数据系统构建的复杂性和长期性，还需要在未来工程的实践中加以验证和完善。对实践中所发现的问题开展深入研究和探索，是未来工作的重点。