数据治理与数据资产化.docx

《数据治理与数据资产化.docx》由会员分享，可在线阅读，更多相关《数据治理与数据资产化.docx（37页珍藏版）》请在第一文库网上搜索。

1、数据治理与数据资产化数据治理是监督，是战略，数据管理是执行，是战术。数据治理的目的是为了更好地数据管理，数据治理并不直接管理数据，数据管理的目的是让数据发挥更好的作用，创造更高的价值。数据治理是用来协调各方平衡的机制。数据资产的几大特点包括无形性、增长性、复制性、价值不确定性。数据资产按照服务的方式可以分成两种类型：自用型数据资产和交易型数据资产，也称为赋能型数据资产和使能型数据资产。赋能型数据资产通常是业务的数据化，将生产经营管理过程中产生的数据进行收集、整理、分析，促进原有业务进一步的价值创造。使能型数据资产通常指数据的业务化，将数据收集、整理后形成可以对外服务的数据商品，如付费数据库服务

2、等。下面主要介绍了大数据发展现状和趋势，企业数据治理和数据资产化建设的挑战，详解介绍了企业数据治理能力和数据资产体系建设方案，供企业规划建设数据治理和数据资产管理体系时参考和借鉴。大数据行业市场发展现状和趋势数据治理与资产化的挑战公司数据治理、数据资产化成果展示大数据行业展望缴据学堂数据服务市场规模及预测20122023年全球大数据专业服务市场规模及预测（单位：亿美元）市场规耀峭势3002SO2001501SOO2012年2013年2014年2015年201阵2017年201眸2019年202OE202IE2023E在专业版名市场中,应用数第库增加了分析故寄库的功征，2016年这个细分领域的总

3、规梗为26亿美元,到2023年增幅放燎到30%达到77亿美元：分析效磨库中，MPPSQI数空库带继续变革,到202年达到38亿美元；物联网应用作为大数据应用的叁础到2023年格增长到1眩美元；机器学习应用到202脾它带赶超其他所有大败据细分市场.观幔达到63亿美元：总体来说，到2023年,全球大效据专业服务市场观模有望达到NTT举机、记数据市场现状及预测随着融合深度的增强和市场潜力不断被花底，融合发展给大数据企业带来的益处日益显现，大数据市场产值呈线性增长.大数据市场产值图市硼期I2：亿兀数据治理与资产化的挑战公司数据治理、数据资产化成果展示大数据行业展望教据学堂数据资产管理决定企业未来的核心

4、竞争能力数据资产管理重新定义企业的全新财富公式积累数据，提供精准营销服务盘活数据，发掘信息内在规律交易数据，创造新的声业模式弋续据字室数据资产管理的核心思路是把数据对象作为一种全新的资产形态，并且以资产管理的标准和要求来加强相关体制和手段.从经济角度，满足对资产运营的各类管理要求数据资源管理，致力于发展处理企业数据生命周期的适当的建构、策路、实践和程序,关注目的就是去寻找手段，以有效的控制数据资源,并提升数据资源的利用率数据资料管理指利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程.其目的在于充分有效地发挥数据的作用数据是企业在业务经营和管理过程中产生、获取、保存、传递和处

5、理的信息记录，而当今大型企业信息化现状是存在大量零散的数据，严重的数据孤岛现象造成企业缺乏对重要信息资产的全面了解，导致公司面临多重风险企业面临的共性挑战： 动态复杂的数据 不断增加的业务需求 不断增加的数据质问题 数据结果与Ji估的偏差严重 数据查找困难京东数科众多IT系统京东数科除了共性问题外，面临更大的挑战：业务和管理等各类系统数众多数据相关表、字段繁杂天.J7Sh皴据学堂预期目标前期：运营体系建立中期：数据治理后期：数据服务、变现核心能力前期（6个月1年）中期（13年）远期数据规划数据治理数据应用数据运营数据战略与规划数据智理组织数据皆理制度数据管理流程数据标准管理元数据管理数据质号理

6、生命周期数据开发统一调度运行监控数据开放数据共享数据资产评估数据发展规划：蓝图、能力发展与举措数据管理组织体系设计数据标准管理机制流程.制夏数宪质多管理机制流程、制度数据模型设计规范数据变现运营管理规范数据仓库管理规范数据模型开发规范标准的制定标准的配置标准的弁核标准的优化数据管控体系持续更新数据模型设计规范元数据稽核I元数据分析事后质评估致揖资产权益誉理规范数抿资产计费结算管理办法了数据维护事中质盘检查元数据采集事前质控制数据生命周期过程控制效掂管理工具开发数据健康评估数据全景图数据安全体系建设救据分析及挖掘敢根服夯这点运曾分析计费客户膏，而:数据设实现数据资产管控通过数据管理工具的开发和完

7、善.利用权限和功能设置对数据的使用进行管控目前,查询和使用数据的用户人数占公司总人数的期；数据中台的搭建.实现了数据重构便于为业务提供更加规整的数据资产数据学堂实现数据资产“可知”和“可用” 通过数据资产目录和数据资产标签管理方案的落地实施,完全能够满足数据使用人员查询和使用需求,用户平均节省50的查找时间.其中41%的用户节省4小时以上时间； 以数据地图的形式从宏观上展示数据资产的规模.分布系统数E及系统间数据流向一目了然, 数据质的持续提升.为业务提供更加可信的数据资产.节约了数据应用成本IOOOO完成数据资产盘点 完成数据资产数十万张表椅理盘点的工作.包括整个集团的所有生产系统,以及数仓

8、内部的表级、字段级数据资产盘点； 建立数据资产盘点的长效机制.包括组织架构、工作流理、资产盘点的方法等确保数据资产盘点成果的完整、正确和及时全面分析数据资产分布 实现数据资产的7个嶷度统计,包括系统、时间、部门、业务、主题、数据来源、所属集群等让管理和决策者随时掌握数据资产的存和增量情况； 掌握相关主题数据（比如账户数据）的数据分布概况并提供访问指引第I(HI数据资产管理成果展示数据资产管理实现“供给-需求,闭环式管理数据需求侧国尸禽!与使用SK据产品支数据产品对内应坦收如产&对外运敛产&目厂热力策调优雷JB数掘产品开，9数据资产清Bn*0tt*Kttft;网以此酷，BBSbitOWftM落潮

9、V理数据供给侧电w.tft据加工W理据生命周ftAft*主效f1*ffBtaHReKXftt王墀E定义息I数据治理能力为数据应用提供质量保障，带解决方案属性的数据治理工具将贯穿数据价值链始终数据学堂数据治理及资产管理产品矩阵平台门户政鬣资产首理平台M资产运营数据治理IM峻铁平台资产拈硝数据实验室辅助工具潦程中心个人中心算淳中C公共姗I学习机teI元数据管理产品矩阵元数据智理平台分为元数据采集、元数据存储、元数据分析和元数据体检四个大的模块，元数据采篥通过MQtf1制进行实时采集，元数据存储通过重构元模型进行数据存储，元数据应用层支持数据检索、血缘和数据地图进行数据原查，无散据体检通过五大维度化

10、元数据管-理工作，反映当下问题，同时指导未来工作.产品架构功能亮点元数据模型fde通过五大雄唐曜化兀故据管I理工作，反映当前工作中的I由We相鹦M、J厂采用MQ机制实时陶获1DM1事件，并转化成多触1故案库语言讲仃数据加税.II采用国际MoF标段，*立I元数据模型，在源域,国I程域、目与地建立关联楼I型.I应用图计算实现数翅地图功陇，可以通过业名线维度钻取，方便数据探舌.I元数据采集gO报占10I_P桎型Q接口1一一一一1数收集成1日（效髭资产采集）:，:JDBCI:bin1og自动北曲怀唱Y配线IIt1*IY!影响分析1接口：其他I!兀敢跟管理：S;I切KagI：;I指除元数据I.：O：IA

11、P1jttt后I资产鼠点I鼠!模型元数IgI!：!应用元政抠I1I1实时兀数据I1*一一一一J管理,SJ8m1I目录管埋版本段5权限管理I血缘分析影响分析数据库适配器：采里MySq1Orac1e.MOngO数钝用无数据.大数据造配器：采集来自HDFS文件系统人数据兀数据及HiV破据仓库兀数据.建模工具适配器：ERWin适配器、PowerDesigneriSK器.,ET1r具：ODI、Datastage.PowerCenterxPrimetonD1.脚本适配器（Per1,Python）:对Python,Per1IW咏ff1SQ1W的方殴彳TET1作业映射关系兀数据采集.EX温造配器：采堂EXeI

12、格式文件的元数据（包括：际表数据字典、映射关系、代码、闾示等）.支措适配鬻扩展教据学堂败据治理采用MetaObjectFaei1ity(MoFw,作为刀数据管理的基础；MOF方法的核心是提供一种可扩展的元数据管理方式：它促供了种支持各种元数据的框架，从而允许按需添加新的类型的元数据，其实现的方法是对兀数据分层级据学堂元数据模型量陶台数据字里数据地图提供全方面、多层次、多度的廖!形化展示加强数据资产分布、流向、溯源、价值的洞察能力满足业务使用、数据管理、开发运维等不同用户角色的需求fd：针对体检分数对元数据现状迸行分析，指导未来工作规划数据资产管理数据资产目录（1/2）数据资产目录管理主要为数据

13、治H人员提供目录管理、标签管理、数据港产盘点等功能，实现线_1维护数据资产相关内容；数据自产滔单为业免人员、分析师等相关人员提供去、字段、指标、模型等数据的检索查看功能；方便用户找数据、知数抿、用数据.作台标悠营理资产能点数宏定产清单或据资产目录目录管理标签内*nrI4BtBR?数庭资产目录功能模块模块功能描述球关系目录管口1目录初始，盘置,导人中能和人工录入功能*目录维护目杲新煨、.名称修目录合并&柝力一目录检专橙椿前面注速定位词书目标标签管理标签类别管理计标赛类别的地、删、改操作一标茶内容管连对每类标签所也含的内容的墙.删.改操作数据资产盘电数搪资产导入袤信息、字段信息、指标数据导入元笠据9苫标系统元数据同步数据资产清单与元钟据之间相互同步更新元数据u蚊据贫产新加我、字段、指标等手动濠加和批量导入功能元的据国旨标系蜕於据资产清单燃S贲产屣于提供表、字段、指标、示例、关系图请信息查看功能元数据数携资产检索提供目录.标玉稀存选、全文检索功能元数据数