某市气象局非结构化数据存储平台建设解决方案.docx

《某市气象局非结构化数据存储平台建设解决方案.docx》由会员分享，可在线阅读，更多相关《某市气象局非结构化数据存储平台建设解决方案.docx（11页珍藏版）》请在第一文库网上搜索。

1、某市气象局非结构化数据存储平台建设解决方案目录一,前言2二，项目背景需求3三，建立大容量存储所遇到的问题4四，需求分析6五，总体设计8六，方案优势10,刖白某市气象局在信息化规划和建设中，看到日益增长的各种电子文件（数据文件，预报产品，实况数据，卫星云图，嫩文件,电子文档，用户信息等等）正以高达100%年增长率增加，这些数据文件在某市气象局发展中具有长期保存的价值和在线的要求。无论是现在资源整合和将来建立气象服务大平台，都需要集中的海量存储系统来集中存储与管理。然而现在这些重要的数据文件通常却缺乏安全有效的管理和利用,普遍杂乱无序地甚至多次重复地分布在文件服务器或DAS直连存储或者光盘磁带等离

2、线存储。很多时候，有些重要数据文件甚至被储存在个人电脑上，缺乏统一管理与维护。当需要数据时需要大量的时间与精力花费在寻找数据中。某市气象局的IT管理者逐渐认识到急需建立海量智能数据存储平台。我们提供海量数据存储系统的最佳方案，海量智能管理所有形式电子文件，可以更好地存储、保护、优化以及利用您企业中电子文件。实现最方便安全的数据文件集中存放和最快速的资源定位。本建议书提供方案具有如下特点： 可靠性具有良好的冗余设计和业务连续性保护； 安全性具备完善的安全体系结构设计和控制机制，完善的备份和容灾机制； 扩充性能够实现存储配置和容量灵活扩展； 可操作性管理简单，操作灵活简单，界面友好； 先进性能适应

3、未来的数据发展，满足企业客户对数据现有的要求并考虑将来业务发展的需求； 更具智能性可对数据文件进行智能分析，自动检查损坏文件并进行修复；集中性数据文件的集中管理。二,项目背景需求某市中心气象台作为华东区域中心担负着华东地区天气预报会商联防任务,担负着长江三角洲灾害性天气的预警联防任务，作为某市地区天气预警报发布的唯一责任单位，承担着艰巨的任务和责任。依靠科技进步增强防灾减灾、趋利避害能力，加快建立能快速响应、覆盖长三角的现代气象服务体系，达到反映迅速、定位准确、警报及时、灾害信息发布沟通迅捷的先进水平,实现对于气象服务的全程、连续、滚动、多媒体化?专业化。对于2010年世博会的顺利开展，需要一

4、个气象服务的大平台，气象服务专项计划针对2010年世博会的时间跨度、地域空间、建筑物、活动密集程度、人流情况等特点制定不同的气象服务王海2010年世博会气象服务天平台业务流程图信息化的发展和业务的提高,某市气象局的数据量膨胀地发展。现需要IOOT的海量存储要求，其中50T为数据库文件，50T为非结构化文件数据。系统需要在线备份功能。,建立大容量存储所遇到的问题1）容量可能成为瓶颈由于局限于很多类型存储设备的设计，可能单个存储无法支持到实际的海量需求，如果使用多台存储设备则备份、同步等都会出现问题。需要平滑升级，不影响现有系统。2）读写效率对于海量存储的读写效率不同于普通容量的存储，由于计算机运

5、算和存储位的限制，可能面临海量读写瘫痪的隐患问题。3）备份和恢复能力的挑战对于海量数据的备份和恢复不同于传统的关键在于大容量备份和恢复的时间周期,需要将备份和恢复的时间接受程度进行评估,因而目前使用的磁带备份方式会存在海量数据的备份问题，按1T02的实际测试速度计算（IOM/S）,30TB的数据备份一次需要36天，这是在实际应用中无法接受的。4）存储的高可用性存储设备作为海量数据的保存的平台，由于备份恢复的成本和时间，需要有一个非常安全的高可用性方案,设备应该充分考虑到比如硬盘等硬件损坏的情况对整个系统的影响降到最低。5）管理成本管理成本也是一个海量存储设备需要考量的问题，由于对安全性要求很高

6、，如何实时来跟踪设备使用的情况和及时做出对策是非常重要的。6）全在线性能力保证数据的全在线能力，最快的寻找到数据。提高系统反应数度与等级。7）文件安全性避免由于外部原因，如静电，磁带光盘的定期维护等等对于文件的影响8）备份容灾需要最少的基础投入，对系统更少的修改，达到对于备份和容灾的要求。9）监控报警需要主动智能的报警手段,通过各种方式（声音，邮件等）对于硬盘信息的监控和报警。10）数据共享能力无需软件提供数据共享能力，有效的节约空间。11）部署与实施设计应充分利用现有的网络和服务器资源，在不影响网络通讯和不间断重要的关键业务应用的情况下，可以快速的部署实施。设备开机就能使用。,需求分析1）需

7、要海量可扩充的存储设备不仅可以满足对于日常文件的存储和读取，对于增长量迅速的非结构化文件数据的高效存储，提供实时的调取，单台存储的扩充性无限制。减少将来扩容对于整体系统速度的影响2）提高在线能力对于所有的文件，提供全在线的访问。提高服务速度和水平3）需要高读写性能由于1）文件的存储总容量非常大2）单个文件的容量也非常大3）多为固定内容的数据，需要在这些特性的前提下有很好的读写性能。4）备份和恢复能力存储设备要支持在海量情况下高速的备份和恢复解决方案。5）设备管理希望购买的存储是一个智能的可自动报警的设备6）存储的高可用性和性价比需要存储支持高可用性方案，比如双机热备，在线容灾等，在确保安全性的

8、情况下希望有一个比较好的价格。7）与应用系统的整合能力有业界统一的接口与应用系统整合。基于TCP/IP的通信。基于网络与应用所在服务器进行数据的交换。无需对应用服务器进行硬件上的改动。8）消除重复存储对于相同的文件如果有多次存储的话只希望在后台保留一份,对于前端应用完全透明，节省了存储空间9）维护与管理简单的管理方式，不需要对存储进行复制的配置。主动对文件进行维护。保证数据文件99.99%的可用性。避免类似磁带和光盘的需要定期整理的维护方式。10）方便的部署利用现有网络和服务器资源,对于业务不中断的部署与升级。11）易于扩容需要一个易于扩容的方案，在考虑到现在需求的同时还需要考虑到今后业务发展

9、的需求，充分利用现有的资源，保护投资五，总体设计我司提供的海量存储解决方案，提供某市气象局一个企业级科学的海量存储平台,使用业界最先进的NAS和CAS技术。完成了一个最合理的存储解决方案。随着信息化的飞速发展，存储技术在近年发生了巨大的变化，存储成本降低、新的技术在取代旧技术的同时也能无缝为旧系统进行升级和扩充,从最早基于磁盘的存储变成以NAS和SAN的网络存储，到目前最先进的智能内容地址存储(CAS)。每个存储架构都有其适应的文件类型,各种网络存储的合理组合是最科学有效的存储方案。所以我司根据某市气象局的数据文件特点制定了以下的方案方案拓扑：Netapp夏尔iCASFAS3140A50T50

10、T各种应用服务器结合目前某市气象局存储建设现状和扩容需求，我们提供了基于NAS架构的NeWPPFAS3140A磁盘阵列和基于CAS架构的EOSS归档存储并提供在线扩容和在线热备相结合方案来构造整个网络，为用户提供一个更加完善的系统解决方案。因而本次扩容项目的设计上我们考虑分为以下方面：1）最适合的方案，对于不同的文件类型采用相适合的文件存储。系统整体速度与安全级别的上升。2 ）系统的全在线性，保证数据100%在线。3 ）海量存储的高效，具有高读写性能的存储。满足各种应用的要求。4）系统的安全性，不仅考虑到单台设备内的冗余功能。还考虑到对于整个系统存储的备份或者远程容灾功能。最大限度提高了系统整

11、体安全级别。5）用在线热备系统替换离线磁带备份对系统的使用无影响，由于加入在线热备系统,因而需要原系统无影响，同时增加了存储方案的高可用性。6）将来的扩容能力,随着数据生命周期。文件麻和固定内容数据存入基于CAS架构的对象存储系统-EOSS存储中。对象存储系统EOSS单个存储节点都具有对应的计算能力。向上不影响整体速度的无限扩容特性。确保了整个系统的升级。考虑现有系统环境的同时也考虑到今后业务发展的需求，充分利用现有的资源，保护投资六，方案优势使用现在最完善的NAS与CAS互相整合存储系统，科学有效的解决了现在存储面临的问题。基于各种文件类型而发展的存储架构的合理使用，保证了整个系统的可持续使

12、用与最高的使用效率。NAS与Ee)SS特点1,全在线能力，确保数据永远在线。提供全在线的访问。提高服务速度和水平2 ,管理维护简单，基于web页面的管理。3 ,数据99.99%的安全性。相对比磁盘或者磁带需要定期维护和读取数据80%的准确率来说，是质的飞跃。4 ,基于TCP/IP的网络存储。简单的利用现有网络的部署，大大提高了与系统的整合和将来的在线扩容。考虑到今后业务发展的需求，充分利用现有的资源，保护投资5,对于共享没有限制，合理有效的利用了系统空间。6,便捷安全的备份能力，加倍确保了整个系统的安全。EOSS特点1 ,EC)SS设备具有CAS架构，真正的内容地址存储，绕开的文件系统的安全隐

13、患；2 ,EOSS使用了RAID6技术，使单个节点在3块硬盘发生损坏的时候也不会丢失数据3 ,EOSS独特的智能防数据崩溃技术,一旦有硬盘发生故障进行系统重构的时候,可以通过设置安全级别使存储自动停止对外写入服务，而保留读取服务，兼顾的可用性的同时提高了安全性。4 ,由于EOSS使用的是CAS架构，抛弃了文件系统，存储上使用物理地址存储，传输上使用最底层tcp/ip协议，基于IP的访问去除了客户端的限制，再经过授权的情况下可以给到客户端最快的响应5 ,灵活扩展，EOSS每个节点有效容量5TB,具有独立计算能力，所有的配置完全符合容量和调用需求，今后的扩容对前端应用完全透明，只需要接入设备在原有存储中配置新增设备的IP即可提供更大容量的存储服务，而扩容不会影响访问性能6,高可利用性，数字指纹技术的采用，确保了相同内容的文件在整个系统中只保存T分。节约了系统空间。