气象数据管理系统技术方案（纯方案67页）.docx

《气象数据管理系统技术方案（纯方案67页）.docx》由会员分享，可在线阅读，更多相关《气象数据管理系统技术方案（纯方案67页）.docx（64页珍藏版）》请在第一文库网上搜索。

1、目录1 .实施方案31.1. 背景介绍31.2. 工作目标31.3. 工作思路41.4. 系统架构51.5. 系统模块71.5.1. 数据存储子系统71.5.2. 服务支撑子系统271.5.3. 运维管理子系统331.6. 系统功能412 .项目重点难点分析、应对措施及相关的合理化建议452.1.项目重点难点分析452.2.应对措施及相关的合理化建议452.2.1. 利用GreenPIUnI解决结构化数据存储472.2.2. 利用HbaSe解决半结构化数据存储512.2.3. 利用FaStDFS解决非结构化数据存储523.质量（完成时间、安全、环保）保障措施及方案.553.1.质量管理内容55

2、3.1.1.编制和评审质量计划553.1.2.工作产品的质量检查553.1.3.不符合项的跟踪处理563.2.质量管理责任分配563.2.1.质量保证小组职责563.2.2.配置管理小组职责573.2.3.测试小组职责583. 3.质量保障措施591. 3.1.项目进度593. 3.2.需求分析613.3.3.系统设计623.3.4.系统实现633.3.5.系统测试633.3.6.系统维护653.4.项目安全保障措施及方案653.5.项目环保保障措施及方案671 .实施方案11背景介绍随着气象事业的快速发展和气象探测设备的不断增加，观测台站上传的数据正在急剧增加，存储总量呈现几何式增长，目前气

3、象数据每年增量达到PB+量级，已具备大数据的特征。而且随着公众对气象服务需要的日益增长，要求天气预报向精细化、全时空和集合预报的方向发展，气象服务从传统向多元化拓展，随着气象服务方式的改变，对气象信息服务的时效性越来越高，气象发展面临着很大的挑战。面对海量气象数据，传统的数据存储管理方式已不能满足气象数据服务的需求，急需引进新技术解决面临的困境。因此，深圳市气象局规划加强气象数据的管理，建设完整的数据管理体系，推动气象数据开放共享与众创，建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，实现基于大数据的科学决策与服务。1.2. 工作目标此次深圳市气象局标书要求，本方案将采用云计

4、算架构、分布式存储、以及大数据分析管理等高新技术，响应政策要求，解决业务痛点，建设深圳市气象局数据管理系统，系统全面整合气象局各站点（台）监测数据、雷达基数据、卫星数据、以及现有各业务系统数据，通过数据标准化处理，建立统一的行业级数据中心，通过大数据管理和分析挖掘，发展融合应用技术，建设完整的数据管理体系，推动气象数据开放共享和众创，满足气象数据的“集中管理、集中分发、来源可查、流向可控”的需求，实现气象“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制。1.3.工作思路以深圳市气象局“集中管理、集中分发、来源可查、流向可控”和“用数据说话、用数据决策、用数据管理、用数据”总体需求指

5、导，采用“统一规划、总体设计，统一平台、统一标准，安全可靠、注重实用”的设计思路，利用云计算、分布式存储和大数据等应用技术融合，全面汇聚气象行业数据，建立完整的数据管理体系，提供统一的数据服务，发掘数据资源潜在价值。统一规划、总体设计深圳市气象局数据管理系统是市局行业级的大数据管理分析系统，旨在建设完整的数据管理系统和统一的气象数据服务，其系统的规划和设计上应以气象数据和气象业务主线的应用蓝图为基础，充分考量各级各部门的实际需求，统一规划，统计统筹，在适应应用需求变化的同时避免重复设计、冗余应用。统一平台、统一标准充分借鉴气象局现有信息系统建设的已有成果，进一步整合研发资源、统一技术路线、提高

6、产品复用、规范应用开发、增强安全控制，增强系统的稳定性、扩展性和可维护性。同时，在设计的过程中注意制标与贯标并重，严格遵循国家、行业有关规定和标准。安全可靠、注重实用遵循可靠性的原则，设计中应尽最大可能减少因信息基础设施故障而造成正常业务无法正常进行的现象的发生（如:因服务器或网络故障造成用户无法访问系统，进而无法进行正常业务的现象等）。同时，设计中还应注重信息安全体系的设计，提高信息基础设施的整体安全性，进一步保证数据及应用安全。采用授权、密码、口令、验证、确认等手段，构建统一的安全防护体系，确保各项业务应用的数据安全，确保系统在24小时连续工作模式下五故障的安全稳定运行。依据以上设计思路和

7、原则，进行系统设计时，在本系统设计中一切以先进、实用、可靠、追求高性能价格比，满足本项目数据融合需求为本。1.4.系统架构为满足“集中管理，集中分发，来源可查，流向可控”的核心需求，结合深圳市气象局业务和数据现状，规划建设气象局数据管理系统，系统实时接入的大批量气象数据（结构化、非结构化），采用大批量采集、分布式存储、快速计算服务、统一分发监管等形式，实现数据高速流转及适应各应用的数据分析需求，其系统架构图如下所示：系统业务应川B1应用专题分析运维告警监控数据接口服务数据检索服务数据分析服务数据可视化服务租户管理及统一调度服务应用指标监数据标准管理元数据管理数据质量管理数据存储层构致存点结化据

8、储地里/全里断点记忆存储管理结化据储半构数存执行计划失败重试任务编排构数存结化据储文件抽取DB抽取NosQ1抽取安全管理访问控制观测数据I业务数据共享交换数据H互联网数据图IT平台整体架构图系统按业务功能划分为三个层级：数据存储层：系统将深圳市气象局现有业务相关的数据，包括观测数据、业务系统产生的数据、与其他部门共交换的数据以及互联网数据，通过ET1工具(f1umesqoopf1ink等)，将结构化数据和非结构化数据拉去到统一的存储中心存储，系统所有数据都将在此进行汇聚，采用greenp1umfastDFS以及HBaSe为核心功能组件；服务支撑层：监测数据集中存储之后，针对气象局业务需求，系统

9、通过大数据管理分析工具，将数据计算结果由分发服务统一分发管控，实现数据流向可控并保障原始数据无泄漏，并将数据封装成服务的形式对上层应用进行发布；数据应用层：通过调取服务支撑层发布的数据服务，面向用户需求，真正对用户提供应用服务；运维管理层：对数据、服务和应用进行监控、管理和运维，实现最大力度的数据和应用监管。1.5.系统模块气象局数据管理系统是针对气象局数据和业务实际情况，结合当前技术发展趋势，为深圳市气象局量身打造的气象行业数据管理管理系统，系统的建设涉及到包括数据采集、数据存储、数据服务等数据的全生命周期管理，其主要功能模块包括如下几个方面：1.5.1.数据存储子系统数据存储子系统旨在整合

10、气象局现有存量和增量数据，将数据标准化处理之后汇总到新建的数据存储系统中进行存储，其主要功能包括数据采集、数据处理、数据传输、数据入库、数据同步等功能，其系统组成如下：数据存储子系统数据存储子系统组成15.11.数据采集按照招标文件要求，数据采集包括现有气象数据采集、护粮网数据采集、部门共享数据采集和应用系统数据采集。15.111现有气象数据采集目前深圳市气象监测数据包含结构化数据和非结构化数据，其中结构化数据全部存储在数据中心的Orac1e数据库中，小部分非结构化数据存储在Orac1e数据库表B1OB/C1OB大字段中，大部分非结构化数据存储在文件系统中，招标文件要求本次项目规划的系统架构，

11、能够统一处理结构化数据、非结构化数据，对于之前存储在不同介质位置中的气象数据，能够统一收集到新系统当中，因为针对现有气象数据采集，主要采用如下方式：对于结构化的数据，通过开发相应的接口程序，直接从存储数据的原数据库中直接抽取数据，并将数据转换成新库的数据格式，存储到新的数据库中。对于半结构化数据，通过开发数据接口，或者采用FTP采集文件，将原半结构化数据存储在待处理目录中，等待数据标准化处理。对于非结构化数据，采用半结构化数据相同的数据采集方式，通过数据接口或者SOCket采集文件，将原文件存储在待处理目录中，等待数据标准化处理。1.5,1.1.2.互联网数据标书要求新系统能够获取互联网数据，

12、并且能够提供多种灵活的方式，将采集到的互联网数据录入到新系统当中。互联网数据的来源一般都是通过爬虫工具从互联网上爬取采集，并通过相应的格式保存，系统将爬虫工具采集到的互联网数据通过数据接口拷贝至待处理区，待数据标准化处理之后再行落入数据库中。15.113.部门共享数据部门共享数据有两种方式：第一种是深圳市气象局提供前置机，通过前置机的方式将数据推送至气象局数据库，第二种是对方提供数据库，通过开发数据接口的方式直接访问对方数据。对于两种方式获取的数据采用通用的解决方法，若获取到的数据为结构化数据，则从数据缓冲区通过数据接口获取数据之后，经过数据标准化处理工具处理之后直接落入新数据库中；若获取到的

13、数据为半结构化或非结构化数据，则从缓冲区获取数据之后，先行存储待处理区，经过标准化处理之后再行落入相关数据库中。1.5.1.1.4.应用系统数据通过招标文件得知，目前深圳气象局应用系统种类繁多、数量庞大，底层数据存储介质各异，存储的数据种类也相当丰富，关系型数据，图片，视频，文件等都存在，这些数据按照种类来分，也可以分为结构化数据、半结构化数据和非结构化数据，因此，也可以采用以下解决方案进行数据采集：对于结构化的数据，通过开发相应的接口程序，直接从存储数据的原数据库中直接抽取数据，并将数据转换成新库的数据格式，存储到新的数据库中。对于半结构化数据，通过开发数据接口，或者采用FTP采集文件，将原

14、半结构化数据存储在待处理目录中，等待数据标准化处理。对于非结构化数据，采用半结构化数据相同的数据采集方式，通过数据接口或者SOCket采集文件，将原文件存储在待处理目录中，等待数据标准化处理。1.5.1.2.数据标准化从数据采集过程中得知深圳市气象局业务系统繁多，数据来源较多，而且数据结构各异，因此要将这些异构数据汇聚并进行统一存储就必须要对这些异构数据进行标准化处理，即对数据进行数据清洗、数据转换和数据集成操作。其中：数据清洗是指将各种异构数据中的脏数据、不完善的数据进行归一操作，使得清洗之后的数据变得统一、规范，以便落入数据库中供上层业务使用的数据是规范的数据，是数据规范化处理的重要组成部

15、分。数据转换是指统一各异构数据的描述和定义。数据集成是指将各不同来源来源的同类数据进行整合集成，目的是使相同的数据只有一个来源。根据招标文件要求，以及数据种类划分，数据标准化处理包括对结构化数据、半结构化数据和非结构化数据进行处理：1.5.1.2.1.结构化数据将多源结构化数据进行数据解析，统一文件文件的命名方式和文件内容的格式，把格式复杂的气象数据转换为标准的XM1文件并在关系型数据库GreenP1um中存储入库。1.5.1.2.2.半结构化数据根据数据特性，采用不同存储策略，将数据进行切片处理，存储在HBaSe中。1.5.1.2.3.非结构化数据非结构化数据文件成功采集后，存放在磁盘文件的待处理目录中，数据标准化处理模块根据目录、文件名，识别数据种类、数据时间（观测数据的数据时间以观测时间为准，预报数据的数据时间以起报时间为准，其它随机生成的数据以文件的时间为准，统一采用北京时）、文件大小等信息，统一标准化处理后，按文件种类、时间等存储在文件系统中。非结构化数据的命名不统一，数据时间的解析方法不同,文件的命名方式也不同，