XX研究院数据仓库建设用户需求.docx

《XX研究院数据仓库建设用户需求.docx》由会员分享，可在线阅读，更多相关《XX研究院数据仓库建设用户需求.docx（8页珍藏版）》请在第一文库网上搜索。

1、XX研究院数据仓库建设用户需求一、项目概况我院现有数字化应用系统40个，各个应用系统使用对象和用途不同，随着业务融合和管理提升的需要，现有模式存在以下不足：一是系统分散，产生的数据分散在各应用系统，缺乏统一的聚集手段，存在数据孤岛，导致数据的互联互通不畅，数据资源利用率低。二是系统的融合度不高，数据标准不统一，数据无法便捷提取，各系统之间集成采用的是一对一接口方式，建设和维护成本较高。二、项目目标为了打破信息壁垒，推进业务协同和数据共，通过建立统一的标准规范、安全保障、运行维护体系，按照遵循“一数一源，一源多用”的原则，建设集数据汇集，数据治理，数据共享等功能为一体的数据仓库，使得各应用系统既

2、是数据的产生和提供者，也是数据的使用者，实现我院数据资产统一管理、统一存储和统一共享。三、项目内容项目包含主要内容：（1）建设数据仓库基础软件平台1套：建立统一的数据汇集和治理平台，该平台能实现多源异构数据（多应用系统不同类型数据库）的采集、存储、清洗、共享和API接口发布等功能；支持信创环境部署。（2）项目实施服务：构建我院数据仓库底座，包括基础数据，业务数据和历史数据迁移；（3）形成一套数据使用和管理规范，包括数据库设计规范、数据使用管理规范、数据接口标准规范、数据运维管理规范;（4）配套提供该平台的运行环境。具体包括：1 .建设一套统一的数据汇集和治理平台技术侧采用成熟的软件平台，建立统

3、一的数据汇集和治理平台，该平台能实现多源异构数据（多应用系统不同类型数据库）采集、存储、清洗、共享、融合服务功能要求。业务侧覆盖全院人力、财务、科研、资产、检验、项目等各业务条线指标体系。支持指标体系存储、更新、定义。同时支持信创环境部署和使用。2 .建立一套统一的数据交换接口服务平台支持通过可视化操作，快速生成数据发布API,提供数据访问接口实现数据对接；支持自定义SQ1模式生成、AP1分页配置，支持绑定参数进行动态筛选。同时支持AP1测试，AP1运维管理，AP1授权，API加密调用等功能。3 .形成一套数据使用和管理规范通过项目实施，形成符合我院实际的数据库设计规范、数据使用管理规范、数据

4、接口标准规范、数据运维管理规范，进一步提高数据资源使用和管理规范性。4 .中标单位需配套提供该平台的运行环境并通过采购人认可。5 .中标单位需与采购人目前现有的帆软报表，BI,简道云、办公自动化、检验检测等系统进行无缝对接，对接费用包含在预算中，由中标方负责支付。四、功能要求一、软件部分（I）数据仓库基础平台1套模块子模块功能功能描述1、数据开发常规节点常规节点：包含数据同步、SQ1脚本、参数赋值、条件分支、虚拟节点、调用任务、消息通知节点。循环容器循环容器：包含循环容器节点的功能。调度配置调度配置：定时ET1的调度配置功能。任务运维任务运维：包含任务各阶段的任务数量，调度简介与周期，运行记录

5、日志等运行监控，自定义调整硬件资源使用阀值，便于硬件资源利用率优化。数据转换-基础算子包数据转换-基础算子包：数据转换依托自身SPark引擎强大的能力，保证了数据的分析处理性能，此项包含数据转换中基础类型算子。数据转换-高级算子包数据转换-高级算子包：在数据转换-基础算子包基础上，增加大量复杂计算逻辑出算子，使得数据转换节点中可实现复杂数据分析处理过程。2、数据源管理基础数据源基础数据源：包含mysq1,Orac1e,SQ1Server,PostgreSQ1,DB2,RestAPI,FTP等最用的数据源种类。3、B/S运维管理平台系统管理系统管理：包含外观配置、系统运维、系统配置、插件管理、用

6、户管理、数据配置，平台安全防护及用户信息监控的综合门户。智能运维智能运维：智能检测系统存在的问题和风险，阈值预警，为系统稳定运行提供保障。集团权限控制集团权限控制：支持分配数据源连接权限，任务设计权限以及任务查看和管理权限的多个层级分配，借以达到多部门共用系统且多个管理员分级管理的目的。短信平台短信平台：开通短信平台功能，无缝对接帆软系统和任务的短信通知，比如任务失败通知、身份验证、系统消息通知等等，短信费用按需收费。4、数据源管理进阶数据源-大数据进阶数据源-大数据：包含大数据场景中常见的数据源种类,如数仓引擎SAPHANA、Hive,Impa1a,PrestoC1ickHouse等。5、数

7、据管道管道任务管道任务：包含读取方式选择、读取起点配置、写入设置、资源控制设置、源端数据结构变更设置、错数队列设置、预警通知设置等功能，实现5分钟完成两个数据系统间的同构/异构数据实时同步配置，支持多表或者整库的自动数据初始化，断点续传和实时增量同步。数据监控及补全数据监控及补全：针对单表能够及时发现数据差异，并在发现数据差异时，可以快速便捷地处理差异，减少数据异常对业务的影响时间，保证源侧与目标侧数据一致，并可在差异处理后分析差异原因。C粉堀高阶数据源-指定公有云(APIOebhook)高阶数据源-指定公有云(API&Webhook)：针对指定公有云应用的API&Webh。Ok进行易用性优化

8、定制数据源，满足定时同步和实时同步场景。高阶数据源-Mysq1(Bin1og)高阶数据源-MySq1(Bin1og)：基于MySqI的BinIog日志解析进行数据增量抽取，支持数据本身及其元数据(DD1)的增量变化，要求MySqI5.6及以上。源管理高阶数据源-Orac1e(1ogminer)高阶数据源-OraC1e(1ogminer)：基于OraC1e的1Ogminer日志解析进行数据增量抽取，支持数据本身及其元数据(DD1)的增量变化，要求OraCIe版本在9i19c,高阶数据源-Orac1e(CDC)高阶数据源-OraCIe(CDC)：基于Orac1e的CDC最小基本日志进行数据增量抽取

9、，仅支持数据本身的增量变化，要求Orac1e版本在9i11c0高阶数据源-Sq1server(CDC)高阶数据源-SqISerVer(CDC)：基于Sq1server的CDC最小基本日志进行数据增量抽取，仅支持数据本身的增量变化，要求SqISerVer版本在为企业版(EnterpriseEdition)需要2008及以上版本，标准版(Standard)需要2016SP1及以上版本。高阶数据源-PostgreSQ1(wa12json)高阶数据源-POStgreSQ1(WaI2json)：基于PostgreSQ1的wa12json日志解析进行数据增量抽取，仅支持数据本身的增量变化，要求POStgr

10、eSQ19.6及以上。高阶数据源TBMDB2高阶数据源TBMDB2(CDC)：基于IBMDB2的CDC最小基本日志进行数据增量抽取，仅支持数据本身的增量变化，要求DB2为EnterPriSeServerEdition版本。7热毋AP1数据准备API数据准备：同一API可以从单个数据表或者SQ1数据集中取数，并且在AP1的基础数据中允许绑定参数进行动态筛选。/、奴如API服务API管理API管理：0代码/低代码可视化配置提供API的数据订阅服务，包含AP1地址设置，参数绑定，安全设置等。以及完成AP1业务包的管理动作。API监控台AP1监控台：对单个AP1的请求时间，请求地址，响应时长，返回码等

11、进行实时记录和监控。二、软件部分(2)项目实施服务服务项具体功能功能描述1、数据仓库规划数据仓库调研、规划为加快特检院数据治理体系建设，明确数据治理归口管理部门，加强数据标准化元数据和主数据管理工作，定期评估数据治理能力成熟度。加强生产现场、服务过程等数据动态采集，建立覆盖全业务链条的数据采集、传输和汇聚体系。加快数据管理平台体系建设，创新数据融合分析与共享交换机制。强化业务场景数据建模，深入挖掘数据价值，提升数据洞察能力。构建符合业务需求的标准数据模型，并逐渐沉淀特检院标准数据考核模型，数据考核模型应符合甲方系统规范，并通过审查。完成数据模型设计说明书。对于关键数据，需要完成数据探查并完成数

12、据探查报告，用以辅助数据模型开发。2、元数据管理实时存储构建融合流处理等技术，支持特检院大数据的高效储存和统一管理，为特检院决策提供实时的数据支撑。在数据集上同时进行离线计算和流式处理，满足高吞吐大数据量和低时延实时处理等多方面的数据计算要求。离线存储构建对在线存储的数据进行备份，防范可能发生的数据灾难，又称备份级的存储。实现对离线硬盘数据的完全控制，防止硬盘数据的非法读写与修改。实现对预警硬盘的备份复制。多引擎计算构建集成Hive、F1ink.ES等数据引擎进行并线计算。可根据计算优先级进行存算资源调配。存算任务支持断点续传。运维管理构建支持可视化运维管理界面，运维成本低，支持集群资源灵活调

13、整，资源使用率高。数据管控构建具备多租户权限管理能力，支持Kerberos身份认证和数据加密，使用Ranger数据访问控制。3、主数据管理主数据建表方便地管理主数据、检索主数据，并基于业务实际使用情况及用户反馈，帮助特检院建立主数据对照标准。包含主数据标准制定、检索、多系统多维分析。标签服务检索基于数仓ET1加工好的维表、事实表，围绕业务对象进行标签数据模型搭建，方便不同类型标签的加工调用。包含标签建模可视化、多种标签开发模板、支持动态标签调参数据应用构建对产出元数据标签进行分群圈选、画像洞察等操作，快速验证数据准确性。包含分群圈选验证、多维画像洞察4、主题域构建贴源层构建(ODS)建议基于高

14、性能数据库进行数据仓库实施，ET1数据跑批更新频率建议为T+0,部分冷数据可酌情考虑调整为T+1,ODS技术指标：源数据同步更新，并进行去重、标准化、脏数据过滤等动作。结果层构建(DW)建议基于高性能数据库进行数据仓库实施，ET1数据跑批更新频率建议为T+0,部分冷数据可酌情考虑调整为T+1oDW技术指标：基于ODS进行维度构建，初步形成面向业务主题的结果表。后续可结合维度表进行结果数据输出。集市层构建(ADS)建议基于高性能数据库进行数据仓库实施，数据跑批更新频率建议为T+1,部分财务数据可酌情考虑调整为T+7oDM技术指标：严格面向主题场景的结果表，又名数据集市。能够快速响应数据查询诉求。

15、主题域-财务模型(含ODS、DW.ADS)财务管理主题基于特检院OA管理系统全模块的数据进行财务主题分析建设，通过OA系统数据中间库获取相关指标等数据，多维度综合分析特检院财务状况，满足领导对特检院财务指标的全貌管理关注需求，并实现数据的溯源。主题域-科研实验模型(含0DS、DW、ADS)科技管理主题基于内控项目管理和1IMS系统板块的数据进行科技管理主题分析建设，提炼科研项目，装备项目进度管理，科研成果及成果转化等指标，按项目，人员，部门等不同维度建立数据模型自动化归集分析统计功能。主题域-资产管理模型（含ODS、DW、ADS）资产管理主题基于特检院OA系统资产板块的数据进行资产管理主题分析建设，通过OA系统数据中间库获取相关指标等数据，从资产基础档案指标、资产日常管理指标、资产盘点指标、资产台账指标、资产配置指标、追溯性管理指标、自动化功能以及集成功能。主题域-检验检测模型（含ODS、DW、ADS）检验检测主题基于特检院检验检测系统资产板块的数据进行检验检测主题分析建设，通过检验检测系统数据中间库获取相关指标等数据，从现场巡检指标、采集数据指标