某省环保厅项目云平台技术方案建议书.docx

《某省环保厅项目云平台技术方案建议书.docx》由会员分享，可在线阅读，更多相关《某省环保厅项目云平台技术方案建议书.docx（55页珍藏版）》请在第一文库网上搜索。

1、某省环保厅项目云平台技术方案建议书1831项目云平台技术方案建议书目录1 系统总体概述31.1 系统基本功能31.2 系统建设的要紧设计思想与设计目标、设计原则41.3 系统的要紧技术特点41.4 系统总体构架51.5 CStor云存储系统简介61.6 CProC云处理平台简介91.7 系统设计性能111.7.1 数据流量处理能力111.7.2 数据存储读取能力111.8 系统功能132 系统设计实施与关键技术方法142.1 CStOr云存储系统142.1.1 技术架构142.1.2 工作原理162.1.3 管理机制172.1.4 关键技术182.2 CProC云处理平台202.2.1 数据立

2、方(DataCUbe)202.2.2 任务监控器(JobKeeper)222.2.3 CPrOC数据处理242.2.4 Zookeeper可靠性262.3 八大环境监控子系统282.3.1 饮用水水源地监控系统282.3.2 流域水环境监控系统302.3.3 空气环境监控系统312.3.4 辐射环境监控系统322.3.5 重点污染源监控系统332.3.6 机动车监控系统342.3.7 危险废物监控系统352.3.8 风险源监控系统362.4 平台安全402.4.1 云处理平台信任保护402.4.2 基于多级信任保护的访问操纵442.4.3 云处理平台安全审计472.4.4 云处理平台安全网关5

3、03 项目管理与实施533.1 项目开发周期533.2 项目实施533.3 客户受益541系统总体概述1.1 系统基本功能“1831”生态环境监控系统建设工程，是建设一个全省联网资源共享的生态环境自动监控平台，实现对全省生态环境的现代化监管，系统于生态省建设，为管理与决策提供参考与根据。系统集饮用水水源地监控、流域水环境监控、空气环境监控、辐射环境监控、重点污染源监控、机动车监控、危险废物监控、风险源监控八大子系统于一体，在省、市、县组建三级环境监控中心，通过一套环境监控管理办法，达到自动监控、科学管理、合理决策的生态建设目标。系统的各子系统基本功能与构成如下：饮用水水源地监控系统能够对省内1

4、11个集中式饮水水源地水质进能监测、汇报等。流域水环境监控系统能够对全省252个河流水质进行实时监测，预警与保护。空气环境监控系统能够实时检测分析全省环境空气质量，确定空气污染程度。辐射环境监控系统能够对全省529个放射源辐射环境进行实时监控、实时查询分析。重点污染源监控系统能够实时监测全省集中式污水处理厂与污水处理情况与燃煤电厂的鼓风机电量。机动车监控系统能够实时监控全省分析机动车尾气的污染情况。危险废物监控系统能够监控危险废物的情况，与对废物管理部门采集的数据进行实时分析。风险源监控系统能够监控全省环境风险源，并对风险源进行分析。1.2 系统建设的要紧设计思想与设计目标、设计原则设计思想:

5、自动监测设备将采集到的实时监测数据上报到省环保厅云存储系统存储。八大监控子系统操作平台向省环保厅云处理平台发出查询请求，云处理平台通过并行计算高效快速的从云存储系统查询数据并分析汇总，向各监控子系统提供查询的数据。设计目标：使用云计算、物联网与信息网格技术，对在用的业务系统进行分析，确定那些信息需要从原系统中抽取出来进行集成，然后建立一个基于云存储的、可扩展，具有统一规范数据格式的中心数据库，将各业务系统核心数据抽取到中心数据库进行数据集成；利用云计算平台的强大处理能力进行数据的处理与挖掘；最后，在中心数据库上开发建立包含企业信息全寿命管理(即从企业登记开始到企业注销的全程信息管理)、数据精确

6、分析、处置决策、趋势分析等在内的应用，并为其它系统预留数据调用接口，最终建成一个涵盖在用系统数据，支持全局信息管理分析与应用的监控系统。设计原则：(1)技术领先，性能优异系统将使用国际先进的云存储与云计算技术，并在此基础上提供高效的查询与分析处理。(2)数据安全可靠系统将使用多种容错技术保证存储的数据安全与故障的自动恢复。1.3 系统的要紧技术特点实时性：平台在高效率并行分布式软件的支撑下，能够实时完成数据入库、分析与管理工作。海量数据入库不可能出现数据堆积现象，各类分析与查询工作基本都在秒级完成，具有前所未有的高效性。高可靠性：基于对云计算可靠性深厚的研究积存，完全解决了当前分布式计算平台易

7、出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不可能出现丢失数据的现象。可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，能够做到与云计算平台的无缝对接，根据计算与存储任务动态地申请或者释放资源，最大限度地提高资源利用率。高性价比：使用X86架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节约成本。在目标性能与可靠性条件下，可比传统的小型机加商用数据库方案节约10倍左右的成本。全业务支持：使用分布式数据库模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各类类型

8、的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘与商业智能分析业务。1.4 系统总体构架江苏省环保厅1831项目要紧包含八大环境监控子系统：饮用水水源地监控系统、流域水环境监控系统、空气环境监控系统、辐射环境监控系统、重点污染源监控系统、机动车监控系统、危险废物监控系统、风险源监控系统。这八大环境子系统共同构成一个完整的环境监控系统，它们都是充分利用现有监测设备,与省环保厅联网后，数据信息汇聚存储至省环保厅云存储系统中，然后再由省环保厅云处理平台负责对数据进行索引、分析等处理，并向八大系统的应用层提供AP1调用，快速反馈分析的结果。图表1系统不思图以数据为中心，数据从最底层的数据采集

9、层中采集到，将这些数据传输到数据中心，同时进行数据索引、分类、分割、清理等操作，将遵循一定规范的数据与索引数据同时实时存储到云存储系统中，在云处理平台上提供数据接口，并与最上层的前台应用层交互数据。1.5 CStor云存储系统简介cStor云存储系统是南京云创存储科技有限公司自主研发的、具有自主知识产权的高科技产品，是国内最早实现并保持领先的云存储系统，整套系统包含软件与硬件，是一个海量的云存储平台。Ss!=!图2CIOoo系列云存储产品存储机柜与传统的大规模存储系统相比，CStor针对绝大多数数据密集型应用的特点从多个方面进行了优化,从而在一定规模下达到成本、可靠性与性能的最佳平衡。CSto

10、r靠着超低的价格、优异的性能、高度可靠、绿色节能、无限容量、在线自动伸缩、易用通用等诸多压倒性优势，获得了广电、安防、刑侦、政务、交通、动漫等各行业用户青睐，产品代理与销售商已进展到数十家。目前，CStor云存储系统已成熟应用于安防视频监控、刑侦、广电、交通、电信、医疗、政务等诸多领域，性能卓著，表现出色，从未出现故障，得到用户一致称赞。南京政务云数据中心云创机器图3部署在南京政务云数据中心云创机器下图4为一简单的CStor云存储系统部署示意图。用户层应用服务层云存储服务层主元数据服务器备元数据服务器存储节点/服务署点/服务节点上节点/服务节点n存储节点/服务节点2存储节点/服务节点4图4CS

11、tOr云存储系统部署示意图CStor云存储系统使用了分布式的存储架构，元数据服务器使用主备双机容错的方式管理各个存储节点，文件分散存储在各存储节点上。客户端与元数据服务器间只有操纵流，数据流直接在各存储节点间交互。因此，系统的整体吞吐率随着存储的规模的增大是线性增加，直到达到带宽的饱与利用。1.6 eProc云处理平台简介云存储层包含公司自主研发的云储存系统cStor与apache开源云储存系统HDFS；而在数据管理层中，包含数据立方、Hbase；数据处理层包含JobKCePCr与MapReduce；最后的监控协调层则包含zookeeper与Chukwa来实现对整个系统的实时监控与数据管理。下

12、图为eProc云处理平台架构：应用层监控协调层处理层JobKeeper业务层ZookeeperHbase数据立方Chukwa虚拟资源层通过数据立方，能够对元数据进行数据分析、清理、分割。对结构化数据任意关键字索引，形成一个多维数据模型，数据立方的命名也由此而来。数据立方是独立于CP1PC云处理平台的技术架构，用户能够选择性使用数据立方，也能够单独使用HbaseJive等技术框架,通过数据立方或者Hbase,能够将结构化数据看成一张无限大的表，操作这张表跟操作传统关系型数据库一样，上层应用无需修改，完全符合用户原先操作习惯。关于非结构化数据，eProc云处理平台使用公司自主研发的超安存算法，对这

13、些数据块进行分割，散乱存储到云储存系统上，然后使用分布式并行处理，对数据进行实时处理，eProc云处理平台的处理性能随着节点的增多而成倍数增长。eProc云处理平台拥有下列特点：1对任意多关键字实时索引2 .支持类SQ1复杂并行组合查询3 .分布式万兆实时数据流秒级处理4 .高可靠性，系统无单点，确保意外情况下，系统的正常运行以上特点由云创公司自主研发的下面几大功能来提供保证，分别是数据立方，分布式数据处理,调度均衡器、数据传输接口等。数据立方对数据建立高效的索引结构。数据立方是云创公司研发的高效数据结构，该结构成功解决了海量数据的快速索引与查询问题，使得百亿条记录级的数据能够秒级处理。分布式

14、数据处理是云创公司研发的处理海量数据的处理框架，用于对大规模数据集的并行处理。处理能力能够通过增加或者减少机器达到动态调整。使用先进的容错技术，确保处理任务的可靠性，即使在特殊情况下，如机器宕机、断网的情况下，确保处理任务的实时性与准确性。调度均衡器是云创公司研发的解决单点故障的一项技术，用于解决系统内的单点问题，确保某机器的应用程序状态在宕机或者断网时，可将状态从特殊机器转移到其他机器上，中间无数据丢失。数据传输接口是云创公司通过多年积存，专门针对地面数据传输研究出高性能可靠文件传输协议，使用并行流水线方式、将传输与存储作联合优化，并支持多点中继高效传输。通过多项实地远程传输试验，结果说明该

15、技术的传输效率在1Gb/s光纤线路上达到了带宽的80%左右，处于国际最高水平。几大功能相辅相成，高效且可靠地处理海量数据，确保响应迅速，传输速度快，处理结果准确。1.7系统设计性能171数据流量处理能力下列是各部分处理能力统计：数据存储查询系统器配置：8核CPUX2,主频2GHz以上，内存32G,硬盘8X2TSATA处理能力：折合数据入库流量80Mbs应用分析系统器配置：8核CPUX2,主频2GHz以上，内存32G,硬盘8X2TSATA处理能力：折合处理并发访问量1000次/s1.7.2数据存储读取能力原始数据存储使用云存储平台，分布式文件系统存储系统。性能指标：存储量指标单系统应支持PB级存储容量。吞吐量指标Infiniband网络上文件读、写性能:(1)写文件性能NetworkI/O1oca1host(KBs)2012/5/301个客户端写250G文件，文件平均写性能为932MBs,峰值为1.9GB/秒。(2)读文件性能NetworkI/O1oca1host(K