TGDMA62018科技大数据平台数据仓库建设规程.docx

《TGDMA62018科技大数据平台数据仓库建设规程.docx》由会员分享，可在线阅读，更多相关《TGDMA62018科技大数据平台数据仓库建设规程.docx（11页珍藏版）》请在第一文库网上搜索。

1、ICS00.000.00000GDMA团体标准T/GDMA62018科技大数据平台数据仓库建设规程Datawarehousedatastandards（征求意见稿）XXXX-XX-XX实施XXXX-XX-XX发布广东省市场协会目次前言1范围12规范性引用文件13建模常用词和缩略语13.1 建模常用词及说明13.2 缩略语24建模方法24.1 数据模型24.2 建模工具软件35主题数据说明35.1人员主题35.2单位主题35.3 科技项目主题55.4 科技业务主题55.5 资质认定主题65.6 科技奖励主题7本标准按照GB/T1.1-2009标准化工作导则第1部分：标准的结构和编写给出的规则起草

2、。本标准由广东精点数据科技股份有限公司提出并归口。本标准起草单位：广东省科技厅、广东工业大学、广东精点数据科技股份有限公司。本标准主要起草人：。本标准为首次发布。科技大数据平台数据仓库建设规程1范围本标准规定了科技大数据平台数据仓库建设的建模常用语和缩略语、建模方法和主题数据说明。本规范适用于广东省科技厅大数据平台项目数据仓库建设（包含数据仓库的前期建设过程及后期的维护、扩展）。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB18030-2005信息技术中文编码字符集

3、GB/T20273-2006信息安全技术数据库管理系统安全技术要求GB/T12991.1-2008信息技术数据库语言SQ1第1部分：框架3建模常用词和缩略语3.1建模常用词及说明见表1。表1建模名词和说明表名词说明源数据提供方是给数据中心提供数据的业务系统，目前包括阳光政务平台等源系统同“源数据提供方”数据接收方指数据仓库接口文件指源数据提供方根据规范要求生成供数据仓库采集的数据，包括接口数据文件、接口校验文件和业务指标校验文件接口数据文件是指源数据提供方根据本规范要求，在指定的时间内，完成对源数据的周期性抽取形成的数据文件接口校验文件指由源数据提供方在每一个抽取周期中，针对每个接口单元的接口

4、数据文件生成的文件级校验依据信息文件级校验报告指数据仓库对接口数据文件做文件级校验后，形成的校验结果文件每日增量指抽取每日00：0024：00发生变化的、新产生的数据最新状态的快照初始全量指抽取第一次源系统所有数据的最新状态快照每月全量指抽取每月月末最后一日24：00时，所有数据的最新状态快照日数据传送截至时刻指源系统完成每日数据传送的最晚截至时刻，定为每日02:00月数据传送截至时刻指源系统完成每月数据传送的最晚截至时刻，定为每月1E104:00日志文件指接口系统在操作过程中数据处理结果的记录文件。由源端接口系统和目的端接口系统产生。包括源端产生的日志和目的端产生的包括传输日志、链路状态日志

5、、告警日志和备份日志等等。3.2缩略语见表2。表2缩略语中文符号与缩略语完整英文高企ic/companyInnovationCompany项目ProjProject技术合同tc/tech_contractTechnica1Contract科技奖励taawardTechno1ogyAward创新券iv/innovvchrInnovationVouchers单位orgOrganation科技项目techprojTechno1ogyProject完成achvAchieve创新innovInnovation技术techTechnica1ZTechno1ogy省份的rvnProvincia1详细dt1D

6、etia1广东省科技厅gdpdstGuangdongProvincia1DdepartmentofScienceandTechno1ogy政府govGovernment信息infoInformation机构instInstitution4建模方法4.1 数据模型科技大数据平台底层细节数据的存储应采用关系数据模型，HIVE数据库,见图1。图1科技大数据平台数据仓库数据存储结构4.1.1 第三范式数据仓库逻辑数据模型宜遵照第三范式进行设计。4.1.2 实体-关系模型数据仓库逻辑数据模型应为采用IDEF1X符号体系的实体-关系模型。4.2 建模工具软件数据中心系统建模工作应采用SDpTeChnOIe

7、）gies公司的PowerDeSigner（V16.5）。5主题数据说明5.1人员主题5.1.1实体说明见表3o表3人员主题实体说明表主要实体实体主要属性实体说明院士信息表姓名、性别、出生日期、年龄、籍贯、毕业院校、工作单位、学历、职称、是否院士、当选年度、研究方向、省科学技术奖获奖情况、科研成果、个人荣誉、主要工作经历、主要贡献基本信息5.1.2参照表实体见表4。表4人员主题参照表实体参照表主要属性地市信息表所属区域、地市编号、地市名称学历类型表学历编号、学历层次职称类型表职称编号、职称层次4.3 单位主题5.2.1实体说明见表5o表5单位主题实体说明表主要实体实体主要属性实体说明高企基本信

8、息注册地区、科技主管单位、单位性质、单位级别、机构类型、企业认定情况、是否上市、上市时间、证券交易市场、股票代码、所属国民经济行业、所属技术领域、注册资金、主要高新技术产品服务名称高企荣誉资质单位CO加、广东省著名商标、广东省名牌商标、中国驰名商标、国家级高新技术企业、火炬重点高新技术企业、省级创新型企业、国家创新型企业省直主管部门信息单位Code、省直主管部门名称、注册时间、注册地区、科技主管单位、单位性质、单位级别、机构类型、现任厅长、注册资金、所属国民经济行业科研机构信息单位code、机构名称、注册时间、注册地区、科技主管单位、单位性质、单位级别、机构类型、现任院长、注册资金、所属国民经

9、济行业学校基本信息单位Code、学校名称、注册时间、注册地区、科技主管单位、单位性质、单位级别、机构类型、现任校长、学校类型、学校属性医院基本信息单位Code、医院名称、注册时间、注册地区、科技主管单位、单位性质、单位级别、机构类型、现任院长、注册资金、所属国民经济行业省科技厅支持情况单位Code、科技厅资金支持、科技厅项目支持、省级科技奖励特等奖、省级科技奖励等奖、省级科技奖励二等奖、省级科技奖励三等奖政府投入经费单位COde、政府投入总经费国家级、政府投入总经费省部级、政府投入总经费地市级、政府投入总经费区县级、政府投入总经费总计政府资助项目总数单位code、政府资助项目总数国家级、政府资

10、助项目总数省部级、政府资助项目总数地市级、政府资助项目总数区县级、政府资助项目总数其他、政府资助项目总数总计科研平台单位Code、工程技术研究中心、重点实验室、企业技术中心、院士工作站、博士后科研工作站单位知识产权单位Code、国内发明专利、国内实用新型专利、外观设计专利、国际专利、软件著作权单位发表论文单位Code、发表论文数、被SCIEHSTp收录论文数单位制定标准单位COde、国际标准、国家标准、行业标准、地方标准单位人员概况单位Code、职工总数、题士、硕士、本科、专科、其它、高级、中级、初级、其它、直接从事研发人员数、非直接从事研发人员数5.2.2参照表实体见表6o表6单位主题参照表

11、实体参照表主要属性说明地市信息表所属区域、区域编号、地市编号、地市名称上市信息表是否上市编码、是否上市科技主管单位信息表科技主管单位编号、科技主管单位单位性质表单位性质编号、单位性质单位级别单位级别编码、单位级别机构类型机构类型编码、机构类型证券交易市场证券交易市场编码、证券交易市场类型所属国民经济行业所属国民经济行业编码、所属国民经济行业所属技术领域所属技术领域编码、所属技术领域单位科研平台级别单位科研平台级别编码、单位科研平台级别5.3科技项目主题5.3.1实体说明见表7o表7科技项目实体说明主要实体实体主要属性实体说明申报立项表申报年份、区域编号、地市编号、区县编号、申报数、立项数、立项

12、金额应用型项目表年份、申报号、区域编号、地市编号、区县编号、立项金额、项目名称、单位名称、是否立项、开始时间、结束时间5. 3.2参照表实体见表8。表7科技项目主题参照表实体主要实体实体属性分类区域信息表所属省份、区域编号、区域名称地市信息表所屈区域、地市编号、地市名称区县信息表所属地市、区县编号、区县名称5.4科技业务主题5. 4.1实体说明见表9o表8科技业务实体说明主要实体实体主要属性实体说明创新券专题表申领单位CODE、注册地市编号、申领创新券金额万元、拟投入研发经费万元、已批复的券金额万元、预计新增产值万元、技术领域编码、上年度从业人数、上年度营业收入万元、申请企业类型编码、申请企业

13、类型技术合同专题表登记日期、合同编号、合同成交额、其中技术交易额、合同类别、知识产权、技术领域、卖方ID、卖方区域编码、卖方地市编号、买方ID、买方区域编码、买方地市编号5.4.2参照表实体见表10。表9科技业务主题参照表实体主要实体实体属性分类区域信息表所属省份、区域编号、区域名称地市信息表所属区域、地市编号、地市名称区县信息表所属地市、区县编号、区县名称技术领域表领域编号、领域名称5.5资质认定主题5.5.1实体说明见表I1o表10资质认定实体说明主要实体实体主要属性实体说明高企专题表年份、企业名称、区域编号、地市编号、区县编号、领域编号、是否上市、有效期高企培育专题表申报年份、企业名称、

14、区域编号、地市编号、区县编号、领域编号、是否上市科研机构表机构类型、区域编号、地市、机构名称、认定时间5.5.2参照表实体见表12o表11资质认定主题参照表实体主要实体实体属性分类区域信息表所属省份、区域编号、区域名称地市信息表所属区域、地市编号、地市名称区县信息表所属地市、区县编号、区县名称八大领域表领域编号、领域名称上市信息表是否上市编码、是否上市5.6科技奖励主题5.6.1实体说明见表13。表13科技奖励实体说明主要实体实体主要屈性实体说明科学技术奖专题表申报书编码、申报年度、推荐单位、推荐单位地市编号、是否受理、是否获奖及获奖种类、项目类别、所属国民经济行业编码、完成单位新增销售、完成单位新增利涧、专业评审组、单位性质编码科学技术奖主要完成单位