粮库智能化升级改造项目数据中心建设方案.docx

《粮库智能化升级改造项目数据中心建设方案.docx》由会员分享，可在线阅读，更多相关《粮库智能化升级改造项目数据中心建设方案.docx（20页珍藏版）》请在第一文库网上搜索。

1、粮库智能化升级改造项目数据中心建设方案数据库建设是整个粮食流通管理体系中信息资源层的基础支撑和中心枢纽。通过数据交换技术，将需要共享的基础数据和业务专题数据统一采集并汇聚，形成数据仓库，同时再共享给各类用户使用。在数据基础之上，再建立统一的业务应用，包括灵活查询、报表分析、业务协同、数据挖掘等，从而逐步实现信息共享、工作协同、决策支持三个层面的有效利用。1.1.1数据采集目录数据采集主要包括数据获取、数据清洗、数据转换、数据加载等模块，需要从目前正在使用的各业务的数据库中抽取需要整合进数据仓库中的数据，经过之后的数据处理技术进入数据仓库中。对于实时数据采集，还需要使用传感器网络，通过把这些传感

2、器感知到的数据经过数据过滤，数据融合等技术，使得这些数据进入数据仓库。其中数据获取模块可采用瘦前置端策略或胖前置端策略。仓储单位信息数据企业基本信息库点基本信息仓房基本信息廉间基本信息油罐基本信息业务管理数据计划管理客户管理合同管理出入库粮食实时库存粮情检查记录粮情监控仓储保管数量监测药剂管理设备管理多媒体数据库区监控视频、仓内监控视频、图片等基础空间地理信息数据基础空间地理信息数据1.1.2粮食数据池建立基于大数据技术的粮食数据池引擎。具备处理海量结构化和非结构化数据的能力。粮食大数据池中又按照不同的功能、专业、调查类型等分类划分相应的分类数据池，将粮食数据打碎成最小单元存放在各自对应的数据

3、池中，便于管理和共享利用，各分类数据池之间由大数据池引擎统一管理调度，形成集中统一的池管理系统。构建集中统一的粮食资源库。以粮食标准数据库、粮食元数据库、粮食制度库、粮食应急数据库等作为支撑。充分发挥传统关系型数据库对结构化海量数据的实时存取能力以及大数据智能分析能力，集成两种数据管理机制，打通两者数据流通道，融合统一向用户提供服务。1.1.3信息资源分类粮食核心业务可划分为六类：粮食购、销、调、存、力口、应急等。主要包括(但不限于)以下数据资源：(1)业务数据：粮食系统自身各项核心业务所产生的数据，包括储备粮监管(包括视频数据、粮情数据、出入库数据)、粮食流通信息、粮食仓储信息粮食质量安全监

4、管信息、监督检查执法信息、粮油产业信息、安全生产信息、公共服务信息(含粮油信息、物流信息、服务信息等)企业基本信息、电商交易信息、应急配送信息等；(2)部门交换：以粮食行业业务协同需求为导向，积极推进跨地区、跨部门信息共享，明确共享信息内容和程序,制定信息共享制度，保障共享信息安全；(3)实时焦点：通过互联网技术和大数据技术，收集到的各种媒体资料，反映社会公众对宏观经济关注焦点，便于更好的为党政部门和社会公众服务。其他业务有如下内容：(I)行政办公：全省粮食系统协同办公系统；(2)宣传服务：包括对内和对外宣传服务；其中对内指：粮食局内部的信息、动态、政策、任务等的发布和布置,对外指：用于对党委

5、政府以及相关厅局进行数据提供服务，交换工作信息、动态，各相关人员可以在许可的权限下，自行对数据进行查询、分析，产生符合各自需求的数据信息；(3)辅助管理：包括人事、财务、固定资产以及其他内部管理等方面的内容；(4)资料文档：包括分散在粮食专业人员手中的各种非结构化数据，如分析、报告、公报、新闻图片、项目照片和录音、录像等；根据上述非共享和共享信息基本数据目录，建立数据信息全面完整的粮食数据资源目录。1.1.4数据管理平台1.1.4.1 元数据管理元数据管理是对系统对数据的结构管理，主要包括：公用数据元的内容范围、分类编码和数据元及其值域代码标准等。依据国家粮食行业元数据标准，设计并建立元数据管

6、理平台，实现粮食元数据的类别管理、属性管理和内容管理，实现粮食元数据的采集、加工处理、审批、入库、数据发布的全生命周期管理，通过接口提供标准的元数据服务，支撑各类粮食应用系统建设和改造。一、元数据管理对象其中，元数据所管理的对象包括：(1)项目登记：粮食项目的登记表(2)项目内容：粮食项目的具体内容(3)粮食报表：组成粮食项目的若干报表(4)粮食指标：粮食报表中的主要组成元素(5)分类：指标的分类(6)分组：按制度对指标进行分类管理(7)目录：填报目录(8)法规：项目和制度相关的法规(9)机构：参与粮食元数据库的粮食局相关机构(10)用户：各级用户应实现对上述对象的新建、修改、管理、汇总、查询

7、、设计等操作。提供灵活的基层表、汇总表可视化设计、编辑功能，以及审核关系的设置。二、基层表设计提供对基层表进行描述的设计工具，方便用户对粮食报表进行定制。提供直观、便捷的报表设计功能，支持表格与问卷的设计。报表设计需采用组件化的设计方式，通过在报表中加入一系列的组件，定义组件的位置和属性，来完成报表设计工作。组件包括文本、填空、选项、下拉列表、文本区域、附件、二维表格，并提供从剪贴板复制公式的功能。在报表设计过程中，需实现随时选择粮食指标，粮食分组，填报目录，计量单位，拖入报表对应位置。元数据需按类别、制度选择，也可输入关键字查询选择。在报表设计工具中要求提供保存、剪切、复制、粘贴、撤销、恢复

8、、删除、退出等快捷操作功能。三、汇总表设计提供汇总表的设计工具，方便用户利用可视化的设计方式实现汇总表的表样设计以及汇总规则的编写。在汇总表设计工具中要求提供保存、剪切、复制、粘贴、撤销、恢复、删除、退出等快捷操作功能。汇总规则编辑，使用自然语言完成审核公式设计和汇总公式设计，需要支持SQ1,任意指标和分组目录的引用，可任意设置汇总级别以及汇总范围。四、审核关系设置实现对所有审核关系进行管理功能，包括添加、删除、修改审核脚本信息功能，并可设置审核条件的报错级别，包括错误、警告两个级别。根据粮食制度预先制定的审核规则完成上报数据的审核、验收。1.1.4.2 信息资源整合粮食流通管理体系的信息化建

9、设中最关键的一个问题是，如何将各部门、各企业、各地域的信息最大限度地集成与利用，提供快速、系统和简便的信息服务，实现信息共享、决策科学、工作高效、跨越发展。为了加快推进粮食信息化管理体系建设，必须要整合现有各类信息资源，实现资源优化配置、信息系统共建共享，减少重复建设。通过对各类视频图像资源、粮食业务数据、公共信息资源等实施全面整合，为粮食流通管理业务提供信息基础支撑，为整个粮食监管的各项业务提供信息资源支撑，实现粮食管理的监控监测、预警预测，以及情报综合、态势分析、综合研判、辅助决策、调控工作提供支撑；还为政府其他业务部门和企业单位提供可共享的数据，为后期全面开展智慧粮食和智能监管应用奠定基

10、础。1.14.2.1信息资源处理总体框架根据对总体架构的分析，为实现系统向政府、公众和企业提供粮食信息服务的目的，关键是要加强粮食相关信息的采集和整合，因此系统建设的核心是数据处理，从数据层面看，省粮食管理信息系统由为六大区域组成。(1)源数据区：外部数据，包括从各种渠道进入数据中心的数据。主要是为省粮食管理信息系统提供各类信息资源，数据采集主要包括储粮单位、粮食企业、加工网点、粮食供应网点等等。(2)数据缓冲区：外部数据进入后，在ET1处理之前的临时存储空间。(3)中心数据仓库区：海量数据库的主要数据生成区域，从细节数据到集成数据层层整合，每一层都可以供信息资源树使用。(4)接入与分发区：对

11、于数据量大，或只关心实时数据而无需保留历史的数据，如视频资源，传感器资源等，可通过此渠道进行接入、整合及共享分发，当需要存储时可随时进入中心数据仓库区。(5)数据服务区：本区域重点关注业务应用，将中心数据仓库区中的数据进行业务分类，以视图、目录的方式对外展现。(6)数据应用区：将数据服务区域的信息资源形成目录索引，为各类应用及服务提供接口，通过应用系统、省粮食局门户网站等对外提供信息服务。在这些区域内，运用了多种数据仓库的技术理论支持,这些理论及技术的作用区域如下:源数据分析：涉及源数据区和数据缓冲区。数据整合：贯穿海量数据库所有层面。 存储与备份：除原始数据外，只要进入海量数据库系统架构内部

12、，都涉及到存储与备份的问题。 数据采集:涉及到源数据区、数据缓冲区、中心数据仓库区。 资源目录管理：涉及信息资源树区、目录区。 ET1：涉及源数据区、缓冲区、中心数据仓库区、数据服务区。本功能的重点在于控制数据质量，保证数据业务统一，以及保证数据的时效性。元数据管理:涉及中心数据仓库区、数据服务区、数据应用区。 数据仓库设计：涉及中心数据仓库区。1.1.4.2.2 信息资源整合内容根据调研分析，我们梳理出现有业务的数据资源，结合各处室的业务应用，站在粮食管理角度，经过科学的分析、聚类方法，划分为业务应用主题分类，如下表所示：1.1.4.2.3 信息资源目录管理针对数据资源及其标准的管理需求，粮

13、食流通管理系统应提供相应的系统功能，以便管理者对数据资源进行有效的配置和管理，从而使用户能够得到方便、快捷的信息服务。信息资源目录体系管理架构包括信息资源目录体系使用和管理的三个角色和六项活动。其中，三个角色是信息资源目录的提供者、管理者和使用者。六项活动包括规划、编目、注册、发布、维护、查询。提供者负责信息资源目录内容的规划和编目，管理者负责信息资源目录内容的注册、发布以及系统维护，使用者可以查询信息资源目录内容。1.1.4.3 数据存储和备份根据数据技术理念，本体系拟采用分布式数据存储的模式，通过建立一个信息聚合总中心和若干信息聚合分中心的分布式存储模式，来满足各类粮食流通管理数据信息服务

14、的实际需要。在数据库结构的设计上，分析系统整体功能需求及响应要求，考虑了现场实际管理能力，使得系统技术能力和管理能力相匹配，不以片面追求高性能为目的，要合理设定系统响应时间、并发性、存储能力等关键指标。1.1.4.4 数据服务1.14.4.1数据服务封装数据服务封装主要是完成数据加工处理的过程，包括数据格式转换、数据清洗、以及数据加工等数据处理功能。数据服务封装首先是适配器服务。适配器服务是外系统接入数据交换系统的桥梁，是多种异构系统之间互连互通及互操作的重要组件。适配器遵循JCA1.5标准，实现适配器的重用。服务封装是数据交换接入的最前端，无论直接交换还是“桥接交”换，都可以采用适配器服务封

15、装实现。1.1.4.4.2 XM1数据表示根据转换定义的规则，完成数据转换的处理。将原始的数据转换为需要的数据格式。统一的数据和服务表示一一标准XM1。不同的系统传输数据内容和方式都可能不一样，不同的系统提供服务的方式和数据格式也不一样，为了使不同系统在互相交互时有一个统一的接口表现方式，需要定义一套统一的接口（服务方式和数据格式）表示方式，因为XM1的强大描述能力，可使用XM1来描述各系统的服务接口和数据传输方式。1.1.4.4.3 适配器服务不同的业务系统存储数据的方式可能各不相同，需要支持数据源的不同存储方式（如不同的数据库、文件等）。采用适配器服务技术。接入的适配器服务封装主要是为了减少开发工作量，努力实现接入部门的“零编程”目标。适配器服务是外系统接入数据交换系统的桥梁，是多种异构系统之间互连互通及互操作的重要组件。1.1.4.4.4 数据描述数据共享的主要功能是数据采集和数据应用，通过数据描述工具和数据描述方式，作为整个数据共享的基础。数据共享服务的技术实现及其表现形式可以有多种，如提供的Java服务、常用的Web服务等。能够将用户创建的Java服务、适配器服务等，发布为Web服务。且数据服务方式通过支持已有应用的快速接入及服务化封装，实现服务的快速开发向导，以便通过服务总线统一提供已有应