谈谈数据标准化做什么以及怎么做.docx

《谈谈数据标准化做什么以及怎么做.docx》由会员分享，可在线阅读，更多相关《谈谈数据标准化做什么以及怎么做.docx（15页珍藏版）》请在第一文库网上搜索。

1、谈谈数据标准化做什么以及怎么做目录1 .序言12 .数据标准化是数据治理的基础（为什么）21. 1.数据标准化面临的挑战与困难22. 2.数据标准的定义与作用33 .数据标准化的框架体系（是什么）64 .数据标准化实施流程与方法（怎么做）81. 1.数据标准化保障机制104. 2.技术平台和工具114 .3.数据标准化关键域实施125 .数据标准化体系的量化评价（做成什么样）136 .案例精选141 .序言作为数字经济时代的新型治理范式，数据治理的核心特征是全企业的数据互通、数字化的全面协同与跨部门的流程再造，形成“用数据说话、用数据决策、用数据管理、用数据创新”的治理机制。在目前数字化转型大

2、趋势的推动下，企业数据治理的需求迫在眉睫。为了促进企业有序开展数据治理工作，进一步厘清企业转型升级的主要痛点和关键需求，被称为数据治理红宝书的数据标准化：企业数据治理基石本文根据数据标准化：企业数据治理基石核心内容提炼总结，希望在数据标准化的理论介绍及实践经验方面，能为众多企业在数据治理的研究和实践中提供参考和指引，以期达到少走弯路，减少探索，打好基础，快速取胜的效果。以数据为核心的组织数字化转型已形成社会变革的大趋势。积极开展数据治理，释放数据要素潜力，更好地赋能产业和推动数字经济发展，是当前企业尤其是央企和大型集团型企业的重要任务。数据治理与数据标准化是密不可分的。于数据而言，数据标准就是

3、对数据的命名、定义、结构和取值规范方面的规则和基准。数据标准化是企业或组织对数据的定义、组织、监督和保护进行标准化的过程。在开展数据治理时，数据标准化的制定工作是基础，是数据在统一标准下进行规范管理的保证。数据标准化主要涉及包括元数据、主数据、数据质量、数据安全、数据架构、数据建模、数据集成、数据仓库、数据存储和操作、文件和内容管理10个方面的工作。涉及的面比较广，专业性也比较强。面向企业经营过程中的业务需求，数据治理为数据发挥应用价值奠定了良好的基础。而数据标准化对于提高数据的科学性、统一性和规范性，实现数据的高度共享与应用，以及提升企业的数据治理能力具有非常重要的意义。2 .数据标准化是数

4、据治理的基础(为什么)2.1. 数据标准化面临的挑战与困难数据标准是一经制定发布后相对稳定的静态文件，而数据标准化是一项带有系统性、复杂性、困难性、长期性特征的动态管理工作，是对标准的某种程度上的落地。在数据标准管理中，通常数据标准相对好制定，而数据标准落地就困难多了。国内的数据标准化工作已经发展了很多年，各个行业和组织都在建设自己的数据标准，但取得显著效果的案例并不多。数据标准化难落地是数据资产管理面临的现状，不容回避。企业在数据标准应用中遇到的困难主要表现以下三个方面：(1)标准跟业务“两层皮”一是许多数据标准并没有真正落实到管理，也没有体现在实践中；二是平时将数据标准束之高阁，只有在每年

5、总结汇报或者外部审核时才抛头露面。(2)标准在实际中是“夹生饭”一是与企业管理实际脱节，制定标准可操作性较低；二是管理层、操作层界限不清，无所适从，难以指导信息化。(3)标准跟IT项目相比“靠边站”一是标准说起来重要、做起来次要、忙起来不要；二是标准化管理在“工期紧、任务重”压力下，为项目实施让路，阻碍了企业标准化管理。之所以会出现这种情况，是初步制定的数据标准本身有问题。有些标准一味地追求先进，向行业领先者看齐，标准大而全，脱离实际的数据情况，导致很难落地。在数据标准化推进过程中主要存在以下几种问题：(1)对建设数据标准的目的不明确，跟业务脱节某些组织建设数据标准，其目的不是为了统一组织内部

6、的数据口径，指导信息系统建设，提高数据质量，更可信地处理和交换数据，而是为了应付上级和监管机构的检查，因此他们需要的只是一堆标准文件和制度文件，根本就没有执行的计划。(2)对数据标准化的难度和工作量估计不足数据标准化是一个长期的过程，不是一蹴而就的，应全方位治理。很多企业一上来就说要做数据标准，却不知道数据标准的范围很大，很难以通过一个项目的方式都做完，而是一个持续推进的长期过程。结果是企业越做标准化，遇到的阻力越大，困难就更多，最后自己都没有信心，转而把前期梳理的一堆成果束之高阁。这是最容易出现的问题。(3)缺乏落地的制度和流程保驾护航数据标准的落地，需要多个系统、业务部门的配合才能完成。如

7、果只梳理出数据标准，但是没有规划具体的落地方案，缺乏技术、业务部门、系统开发商的支持，尤其是缺乏领导层的支持，是无论如何也不可能落地的。(4)组织管理水平不足甚至缺失数据标准落地的长期性、复杂性、系统性特点，决定了推动落地组织机构的管理能力必须保持在很高的水平线上，且架构必须持续稳定，才能有序地不断推进。(5)缺乏运营保障，过分依赖外部咨询公司一些组织没有建设数据标准的能力，因此请咨询公司帮忙规划和执行。一旦咨询公司撤离，组织依然缺乏将这些标准落地的能力和条件。以上这些问题导致数据标准化工作很难开展，更难取得较好的成效。而数据标准化是一项战略性、长期性、艰巨性、系统性、持续进行的组织内部数据优

8、化治理工作，因此，数据标准化必然是一个漫长而持续的过程，没有一针顶破天的诀窍，也没有立竿见影的途径，唯有企业持续不断、持之以恒、不忘初心、不懈努力，才能达到预期目标。2.2.数据标准的定义与作用对数据而言，数据标准(DataStandardS)是业务流程中产生的数据的统一定义，即对数据的命名、定义、结构和取值规范方面的规则和基准。数据标准定义框架如图1,此定义是业务对数据项在企业营运环境中的统一业务定义及技术要求，是保障数据内外部使用和交换的一致性和准确性的规范性约束，以达成对数据的业务理解、技术实现的一致。图1数据标准定义框架数据标准定义是从元数据管理视角制定的标准，可细分为业务标准、技术标

9、准、管控标准，聚焦在业务属性、技术属性和管理属性三个维度上。其中：业务标准是描述数据与业务相关联的特性。数据业务标准是对数据业务含义的统一-解释及要求。它包括数据的业务含义解释、数据在相关业务环境中产生过程的描述、数据之间的制约关系、数据产生过程中所要遵循的业务规则。如业务定义、业务规则、值域、代码值、代码描述、计算公式、统计口径、统计维度、统计周期等。技术标准是业务在应用环境中对数据的统一技术要求。技术标准是描述数据与信息技术实现相关联的特性，如数据类型、数据格式、数据长度、数据的缺省值及数据安全需求的等定义。管理标准是描述了数据标准与数据标准管理相关联的特性，如标准版本、标准有效日期、标准

10、责任部门、标准来源等。数据标准可以采用不同的形式，具体取决于所描述的内容：关于如何填充字段的要求、控制字段之间关系的规则、可接受和不可接受值的详细文档、格式等。它们通常由数据管理专业人员起草。结合业务场景来看，数据标准化的核心作用在于实现数据的“五统一”，如图2所示。图2数据标准化实现的“五统一”(1)名称统一。同一数据实体如果在不同的业务环境下名称不一致，一方面不利于业务的连续性和完整性，另一方面也不利于后续的统计分析。比如在仓库存放有两件同样的物资，如果名称叫法都不一样，则计算机信息系统识别的就是两件不同的物资，这样会影响物资采购计划，可能会造成库存物资积压等影响。(2)定义统一。不同的业

11、务领域有不同的业务场景，数据所含的业务含义必须与业务场景保持一致，才能保证数据及衍生数据的正确性和准确性。(3)口径统一。如果对数据的加工口径不一致，则统计出来的数据结果就不一致，无法有效支撑数据层的分析决策。(4)来源统一。确定唯一且可信的数据源，可以保证基础数据的一致性。同时，源头数据的质量越高，未来构建的数据大厦就越牢固。(5)参照统一。在企业业务运营过程中，会出现大量不同类型、不同主题、不同结构的数据，为了最大限度的遵循和保障数据的标准，应制定统一的数据管理标准和规章制度。数据标准化是企业或组织对数据的定义、组织、监督和保护进行标准化的过程，将数据标准向下延伸至信息系统实现层进行技术层

12、面的标准化，打通了上层业务提出的数据规则与系统中具体数据的联系，就是建立一套符合自身实际需求，涵盖定义、操作、应用多层次数据的标准化体系的过程或系列活动。它是一项长期、体系化的工作，需要在各个方面同步推进，而不仅仅是数据层面。3 .数据标准化的框架体系(是什么)数据标准化是数据治理的重要组成部分，但和数据治理一样，也有完整的框架体系。全面的数据标准化体系应包括应用类数据标准、架构类数据标准、基础类数据标准、作业类技术规范，数据标准化保障机制和数据标准化管理工具，数据标准贯穿整个数据生命周期，如图3所示。图3数据标准化体系(1)作业类技术规范：包括数据采集规范、数据安全规范、数据分类规范、主数据

13、管理规范、数据建模规范、元数据管理规范、数据服务规范、数据共享规范、数据资源申请规范等。作业类技术规范根据作业层面的技术操作和管理要求，对数据标准化的贯彻和执行予以约束。(2)基础类数据标准：包括业务术语、业务规则、命名规范和代码标准。数据标准化是经营管理和生产运营活动的基础，需要职能管理部门和业务部门负责制定本领域的业务术语、业务规则、命名规范和公共代码标准(或数据字典标准)。创建数据需要业务领域的知识，以确保从数据创建之时开始，组织内部对数据有着一致性的理解。(3)对象类数据标准：包括数据分类标准、主数据标准、数据元标准、交易数据标准、指标数据标准、标签数据标准和主题数据标准。数据标准化需

14、要明确需要哪些对象及如何被标准化。而对象类数据标准阐述了数据对象的分类，每类数据对象的分类、定义、命名、描述及管理流程或规范。主数据标准、数据元标准决定了各类交易活动的记录(交易数据或事务数据)被创建的格式及数据质量是否满足企业级的要求。主题数据(主题库)被存储在数据湖、数据仓库中，来源于不同交易系统(信息化系统)，属于同一主题的交易数据集合。指标数据和标签数据是对交易数据、主题数据统计分析的公式、分析维度和颗粒度、属性维度和颗粒度。(4)架构类数据标准：包括数据目录、数据模型、数据分布与流向、数据交换、数据服务和元数据标准。数据标准化需要基于企业级的数据架构，从逻辑层面定义数据的获取和使用。

15、架构类数据标准有以下作用：描述基于数据对象标准的各类数据对象概念模型、逻辑模型，以及基于业务规则定义的对象之间属性数据元的引用和继承关系；定义数据共享、数据安全、数据质量的逻辑模型，以支撑数据交换、数据共享及开发；描述各类数据对象数据分布的数据资源目录、数据资产目录；支撑上述模型开发实现的元数据标准。(5)应用类数据标准：指的是在开发及部署信息化数字化应用系统时，需要实现的职能管理、业务管理的流程或功能要求。数据标准化服务于信息化数字化的应用，如大型企业内部常有多个财务核算系统，但均需遵循总部统一制定的财务核算手册。尽管不同行业、不同企业的信息化数字化应用存在差异，但均需要基于统一的企业级数据架构、对象类数据标准和基础类数据标准。由此可见，数据标准化是企业信息化数字化的基础。(6)数据标准化保障机制：包括数据标准化管理组织和数据标准化制度、认责与绩效、人才培养、数据文化。数据标准化需要组织层面有执行力的动员和保障。数据标准化保障机制，从组织、制度及工作机制、认责与绩效等方面，对数据标准化予以保障。(7)数据标准化管理工具：包括数据共享、服务、数据标准、数据目录、数据模型、指标数据、元数据、主数据等管理工具。数据标准化工作需要技术工具的支撑，作业类技术规范需要落实到数据治理及数据资产管理相关软件上，从管理流程和技术落地建立数据标准化的长效机制。值得说明的是，数据