公共数据共享门户与开放平台功能设计与建设技术方案.docx

《公共数据共享门户与开放平台功能设计与建设技术方案.docx》由会员分享，可在线阅读，更多相关《公共数据共享门户与开放平台功能设计与建设技术方案.docx（23页珍藏版）》请在第一文库网上搜索。

1、目录第一章平台功能方案21.1 数据开放子系统21.1.1 系统功能架构21.1.2 系统功能方案21.2 平台集成门户121.2.1 多租户功能121.2.2 运营中心151.2.3 开发中心211.2.4 消息推送231.2.5 数据推送231.2.6 个人信息管理231.2.7 系统管理24平台功能设计方案本次公共数据资源平台的建设主要围绕系统功能框架展开，划分为采集分发层、数据层、服务开放层、应用层、门户、统一运维、数据管理、数据安全等层级的建设内容，具体建设功能包括市级数据库、数据管理子系统、数据治理子系统、大数据综合应用、数据开放子系统、数据安全管理子系统、平台集成门户、数据开放门

2、户。其中数据开放子系统详细的功能描述如下方案：1.1 数据开放子系统1.1.1 系统功能架构1.12系统功能方案1.1.2.1数据应用方管理功能说明身份注册：开发身份注册功能，提供自然人、法人身份注册；身份验证：开发身份验证功能，区分使用者身份实现个性化服务，包括通过APP或人脸识别进行身份验证以及法人用户通过法人一证通进行身份验证。身份注册/验证流程用户敌据开旅于系统成为注册用户填写注册信息启动身份认if接收，校验用户值息选择认证方式完成,描知注册成功进入开放门户江阴页面1业务流程说明用户（个人用户或法人用户）通过数据开放门户进行注册用户填写注册信息，信息包括：用户点击“注册”，将信息发送至

3、数据开放子系统数据开放子系统校验通，存储用户信息，并通知用户注册完成。已注册用户可发起身份认证个人用户可通过APP与人脸两种方式获取身份认证。支持APP范围：微信、支付宝、随身办市民云。通过身份认证后，系统记录用户为“已认证”用户。具体信息填写页面如下图所示：A上海市公共数据开放平台账号;主册巳石*0，立即eat个人注册y:j用户名：IUC姓名：弟&证：电子箱.：g码：茨烟险证登录密码：潴认跑码：，）信息BR业：用途：府。Mft口个人C日他所行业：帙闩(MI*FT4IX网1!ByM/业IZM文化蛾乐农林油依业体育会W6S我已阅读并同意相关服务条款和政策I注掰I1.1.2.2开放清单管理I功能描

4、述公共数据资源AC1开发公共数据资源AC1功能，提供公共信息资源目录的查看，基于目录实现数据访问控制；公共数据资源可根据公共信息资源目录及供应情况，使数据使用者获知公共数据提供的范围、方式、更新频率等信息，并整体控制某项数据资源是否开放； 公共数据服务接口注册开发公共数据服务接口注册功能，实现公共数据服务发布；使得数据使用者获知公共数据服务接口与应用的获取方式、接口形式等信息,控制接口的可用性。 数据应用注册开发数据应用注册功能，实现公共数据应用发布；可管理数据资源目录与清单、公共数据服务接口与数据应用的注册，以及第三方数据服务的注册。 第三方数据服务支持方服务接口注册开发第三方数据服务支持方

5、服务接口注册功能，实现第三方数据服务支持方服务接口发布；公共数据服务接口与应用注册需维护公共数据服务接口清单，第三方数据服务支持方以接口形式提供应用数据，便于数据使用者整合使用。提供接口获取方式等信息，控制接口可用性。-1业务流程图I业务流程说明由数据资源编目系统管理并生成公共信息资源目录的信息通过数据资源AC1（访问控制列表）导入外部数据目录信息，生成开放清单根据开放清单的内容，注册并生成三类开放形式，分别是：公共服务接口、第三方数据服务接口，以及数据应用。数据使用方通过开放门户，获取上述三类开放数据资源。1.1.2.2.1开放清单维护开放清单管理依据开放主体部门，提供开放清单的新增、修改、

6、删除等维护功能，提供按照清单名称、关键词进行检索。M4m提供开放清单基本信息的维护，包括开放类型、个体分级、客体分级、数据资源类型、开放频率、开放条件等。1.1.2.2.2开放目录关联开放清单管理提供基于公共数据资源目录生成开放清单的功能，能够从已发布的目录中，选择需要发布的开放清单。MSMM4WMBXMumMMMMVMMM*0皿CM*F9BHX9子*NIg9系“R0RitK9BNW浏MMNT已Hf1UMI1!Xf*exWHOHMSHarsMU(M)e*Jtft*FBQHJ000。1.1.2.2.3开放数据集维护开放清单维护提供开放数据集合的维护，包括数据接口、数据产品、数据应用等开放数据集类

7、型。提供开放数据集基本信息的维护，包括应用场景、关键词、数据标签、国家主题分类、部门主题分类、开放类型等，并且按照数据资源类型，提供开放数据集资源的挂接。JMt*xB0SMFBA*1WsWB二”wmHw1=MXWB321.1.2.3数据开放管理-1功能模块说明可通过该管理模块对数据开放进行全过程的管理，不仅需要包括目录查看、数据信息项查看、数据应用查看、接口信息查看在内的一般性访问，还需包括建立与划分数据主题，开放数据资源的收藏、订阅与分发管理。除此之外，还需建立消息定义事件，由事件驱动事物执行的功能。数据主题建立：开发数据主题建立功能，建立并管理数据主题数据主题划分：开发数据主题划分功能，建

8、立数据资源与主题的关联消息事件管理：开发消息事件管理功能，按照消息定义建立事件，由事件驱动事务的执行一般性访问：开发一般性访问功能，包括目录查看、数据信息查看、应用信息查看、接口信息查看等功能收藏：开发收藏功能，注册的访问者收藏特定的数据集、接口、应用订阅：开发订阅功能，注册的访问者可收藏对频繁更新的同类数据资源订阅分发：开发订阅分发功能，当数据资源更新时，系统根据事件向相关订阅者推送I业务流程图效提开放管理流通业务流程说明开放数据主体管理用户通过数据开放子系统（一期）的数据开放管理模块,建立数据主题，例如：经济建设、资源环境等划分数据资源主题并生成主题数据资源数据使用方通过开放门户，查看开放

9、数据目录。用户可通过开放门户，使用开放数据子系统（一期）的收藏、订阅、分发功能通过用户操作，建立消息事件，并将事件记录在开放数据子系统（一期）消息事件管理模块。1.2平台集成门户1.2.1 多租户功能1.2.1.1 统一身份认证和审计系统针对不同级别的权限进行策略设置，实现应用系统的分级授权管理。对不同业务系统和业务人员进行统一身份管理、统一认证管理、统一授权管理、统一审计管理等。1.2.1.1.1 身份管理为用户提供统一集中的身份管理，实现以自然人为单位管理员工的入职、变更、离职等过程，实现业务系统的资源账号的创建、删除等账号管理生命周期所包含的基本功能，可进行账号密码策略、密码强度、生命周

10、期的设定。1.2.1.1.2 认证管理根据用户的实际需要，提供不同强度的认证方式，可以使用静态口令方式，也可以使用具有双因素认证方式的高强度认证，包含短信认证、数字证书、动态令牌、生物特征等。1.1.1.1.1 权管理对用户的应用系统访问权限和数据字段进行集中控制，按照用户角色和应用场景进行授权控制，应用系统控制类型既包括B/S的UR1、C/S的功能模块，也包括数据字段的模式匹配。1.2.1.1.4 审计管理将用户所有的操作日志集中记录管理和分析，不仅可以对用户行为进行监控,并且可以通过集中的审计数据进行数据挖掘，以便于事后的安全事故责任的认定。1.2.1.1.5 系统管理系统管理主要是指对管

11、控平台的管理员提供平台正常运行时所需的基本管理功能、包括管理员管理、权限管理、配置管理、运行监控、备份管理等。1.2.1.2 平台集成门户实现多租户管理功能采用多租户的思路，将数据能力和数据平台数据处理能力按需、可控的进行开放，在保障数据安全性、数据可控性的前提下，通过标准化封装的数据操作，可视化开发工具开放给各委办部门，由其自行进行数据操作开发。1.2.1.3 使用数据中心提供统一开发平台来实现多租户数据开发，其功能结构如下图:1.2.1.4 多租户能力平台包含多租户管理功能，可按照用户所属职责可分为超级管理员，租户管理员，普通租户。可以根据需要创建包括系统管理员、运营人员、开发管理员、开发

12、者等角色。1.2.1.5 租户管理A租户与系统用户映射通过映射开发管理平台帐号及执行平台帐号，以租户的方式实现用户及用户组管理，以达到资源管控及数据权限控制的目的。如下图，在管控平台进行开发团队的管理和对应账号的设置，在数据平台完成对租户的资源、权限进行控制。每个开发团队根据需要指定其在hadoop.MPP或关系数据库上的执行账号。在数据平台上实现账号的权限、资源的控制。在查询或运行某个数据处理任务时，用其对应的账号进行执行。从而实现对开发团队开发运行的任务资源、权限的控制。在管理平台新建租户的账号或数据权限变更时，管理平台根据配置参数，实时调用大数据平台的相关AP1自动进行授权、修改、创建账

13、号。KMMVBA311*ttFXttUeanEZJ图：租户基本信息1.2.1.6 租户内用户管理系统中的账户包括租户、用户和角色，租户对应于使用系统的一个委办局或是一个部门，系统会为每个租户分配一定的计算和存储资源供其使用，这部分资源都是动态分配可以根据系统实际运行情况动态调整，当系统资源不足时可以根据优先级设置，高优先级的任务枪长低优先级任务的资源，以满足业务需求。每个租户下面对应多个用户，即每个委办局或是部门下存在多个使用系统的人员，在系统中会为这些创建相应的用户信息。由于这些用户都是从属与租户，因此他们提交的任务占用的资源都是在租户使用范围之内。不同的用户由于权限的不同会被授予相应的角色

14、，例如开发人员拥有数据文件及hive表的增删改查权限，以便进行相关业务逻辑的开发实现；而测试人员只拥有数据的读权限，通过编写脚本进行数据质量的校验以及功能性能等方面的测试。询建角色一授权于角色一，创建用户一创建租户一;，分配计算/存储资源，1.2.1.7 租户自注册各单位按照项目制，以项目为单位发起租户入驻申请流程，通过租户管理流程提交租户管理员进行审批，租户管理员组织相关单位对项目的建设范围、合规性、安全性、可行性等进行评审，对于同意纳入大数据平台的项目，下发批复,明确项目内容、可授权访问的数据范围、项目周期等。1.2.1.8 租户注销1、因为业务下线、项目结束等原因，租户需要申请销户时，由租户所在的单位,通过流程提交管理员进行审核,管理员组织相关单位评估租户的注销方案,包括账号清理、IT资源回收、租户私有数据处理建议，以及其他影响评估等2、管理员批复内容，具体执行租户注销相关操作。1.2.2运营中心运营中心，主要通过从大数据价值、评估、调用、用户等多个维度构建运营中心功能，提升平台运营能力。开发运维视图功能，通过大屏、pc、移动端三屏合一建立可视化运维监控界面，实现数据的统一运维。1.2.2.1 数据地图系统通过数据资产信息（数据资产名称、归属主题域、数据类型），可以查询到该数据资产分布情况。人数据目录数据目录以个体进行数据分类，