数据仓库&数据指标&数据治理体系搭建方法论.docx

《数据仓库&数据指标&数据治理体系搭建方法论.docx》由会员分享，可在线阅读，更多相关《数据仓库&数据指标&数据治理体系搭建方法论.docx（52页珍藏版）》请在第一文库网上搜索。

1、数据仓库&数据指标&数据治理体系搭建方法论数据仓库1、数据仓库的基本概念英文名称为Data可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decisi。八SuppoH）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不生产任何数据，同时自身也不需要消费任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫仓库，而不叫工厂的原因。基本特征数据仓库是面向主题的、集成的、非易失的和时变的数据集合，用以支持管理决策。面向主题：传统数据库中，最大的特点是面向应用进行数据的组织，各个业务系统可能是相互分离的。而数据仓库则是面向主题的。主题是一个抽象的概

2、念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。集成性：通过对分散、独立、异构的数据库数据进行抽取、清理、转换和汇总便得到了数据仓库的数据，这样保证了数据仓库内的数据关于整个企业的一致性。数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前，必然要经过统一与综合，这一步是数据仓库建设中最关键、最复杂的一步，所要完成的工作有：要统一源数据中所有矛盾之处，如字段的同名异义、异名同义、单位不统一、字长不一致，等等。进行数据综合和计算。数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成，但

3、许多是在数据仓库内部生成的，即进入数据仓库以后进行综合生成的。下图说明一个保险公司综合数据的简单处理过程，其中数据仓库中与“保险”主题有关的数据来自于多个不同的操作型系统。这些系统内部数据的命名可能不同，数据格式也可能不同。把不同来源的数据存储到数据仓库之前，需要去除这些不一致。业务系统主题=保险非易失性（不可更新性）数据仓库的数据反映的是一段相当长的时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于这些快照进行统计、综合和重组的导出数据。数据非易失性主要是针对应用而言。数据仓库的用户对数据的操作大多是数据查询或比较复杂的挖掘，一旦数据进入数据仓库以后，一般情况下被较长时间保留。数据

4、仓库中一般有大量的查询操作，但修改和删除操作很少。因此，数据经加工和集成进入数据仓库后是极少更新的，通常只需要定期的加载和更新。时变性数据仓库包含各种粒度的历史数据。数据仓库中的数据可能与某个特定日期、星期、月份、季度或者年份有关。数据仓库的目的是通过分析企业过去一段时间业务的经营状况，挖掘其中隐藏的模式。虽然数据仓库的用户不能修改数据，但并不是说数据仓库的数据是永远不变的。分析的结果只能反映过去的情况，当业务变化后，挖掘出的模式会失去时效性。因此数据仓库的数据需要更新，以适应决策的需要。从这个角度讲，数据仓库建设是一个项目，更是一个过程。数据仓库的数据随时间的变化表现在以下几个方面：（1）数

5、据仓库的数据时限一般要远远长于操作型数据的数据时限。（2）操作型系统存储的是当前数据，而数据仓库中的数据是历史数据。（3）数据仓库中的数据是按照时间顺序追加的，它们都带有时间属性。2、数据仓库与数据库的区别数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。操作型处理,叫联机事务处理 OLTPTransaction Processingf ,也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理，像Mgsq/,。曰

6、c/c等关系型数据库一般属于。LTP。分析型处理,叫联机分析处理 OLAP (。八-Li八c Analytical Processing) 一般针对某些主题的历史数据进行分析，支持管理决策。首先要明白，数据仓库的出现，并不是要取代数据库。数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储业务数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般针对某一业务应用进行设计，比如一张简单的User表，记录用户名、密码等简单数据即可，符合业务应用，但是不符合分析。数据仓库在设计是有意引入冗余，依照分析需求，分析维度、分析指标进行设计。数据库是为捕获数据而设计，数据仓库是为分析

7、数据而设计。以银行.业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记账。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM 了。显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量

8、的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库数据仓库分层架构按照数据流入流出的过程，数据仓库架构可分为：源数据、数据仓库、数据应用数据应用报表展示即席查询数据分析数据挖掘数据仓库源数据多维数据模型明细数据点击流日志数据库数据文档数据其他D，根信号Trap/匕口数据仓，斗数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。源数据：此层数据无任何更改，直接沿用外围系统

9、数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。数据仓库：也称为细节层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。数据应用：前端应用直接读取的数据源；根据报表、专题分析需求而计算生成的数据。数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL （抽取Extra.转化TV八。心 装载LoW）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。那么为什么要数据仓库进行

10、分层呢？用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。4、数据仓库元数据的管理元数据(Meta Date),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据

11、状态及ETL的任务运行状态。一般会通过元数据资料库C Metadata Repository)来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。元数据是数据仓库管理系统的重要组成部分，元数据管理是企业级数据仓库中的关键组件，贯穿数据仓库构建的整个过程，直接影响着数据仓库的构建、使用和维护。构建数据仓库的主要步骤之一是ETL。这时元数据将发挥重要的作用，它定义了源数据系统到数据仓库的映射、数据转换的规则、数据仓库的逻辑结构、数据更新的规则、数据导入历史记录以及装载周期等相关内容。数据抽取和转换的专家以及数据仓库管理员正是通过元数据高效地构建数据仓库。用户在

12、使用数据仓库时，通过元数据访问数据，明确数据项的含义以及定制报表。数据仓库的规模及其复杂性离不开正确的元数据管理，包括增加或移除外部数据源，改变数据清洗方法，控制出错的查询以及安排备份等。元数据可分为技术元数据和业务元数据。技术元数据为开发和管理数据仓库的IT人员使用，它描述了与数据仓库开发、管理和维护相关的数据，包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等。而业务元数据为管理层和业务分析人员服务，从业务角度描述数据，包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等，帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。由上可见，元

13、数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等，而且是整个数据仓库系统运行的基础，元数据把数据仓库系统中各个松散的组件联系起来，组成了一个有机的整体。5、数仓建模方法数据仓库的建模方法有很多种，每一种建模方法代表了哲学上的一个观点，代表了一种归纳、概括世界的一种方法。常见的有范式建模法、维度建模法、实体建模法等，每种方法从本质上将是从不同的角度看待业务中的问题。工.范式建模法(Third Normal Forw, 3NF)范式建模法其实是我们在构建数据模型常用的一个方法，该方法的主要由以小。八所提倡，主要解决关系型数据库的数据存储，利用的一种技术层面上的方法。H前，我们在关系型数据

14、库中的建模方法，大部分采用的是三范式建模法。范式是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则，而在关系型数据库中这种规则就是范式，这一过程也被称为规范化。目前关系数据库有六种范式：第一范式(1NF)、第二范式(2NF)、第三范式QNF)、Bogce-Codd范式(BCNF)、第四范式(4NF)和第五范式(5NF) .在数据仓库的模型设计中，一般采用第三范式。一个符合第三范式的关系必须具有以下三个条件：每个属性值唯一，不具有多义性；每个非主属性必须完全依赖于整个主键，而非主键的一部分；每个非主属性不能依赖于其他关系中的属性，因为这样的话，这种属性应该归到其他关系中去。范式建模根

15、据Inmon的观点，数据仓库模型的建设方法和业务系统的企业数据模型类似。在业务系统中，企业数据模型决定了数据的来源，而企业数据模型也分为两个层次，即主题域模型和逻辑模型。同样，主题域模型可以看成是业务模型的概念模型，而逻辑模型则是域模型在关系型数据库上的实例化。02.维度建模法(Diac八si。八/ Modeling)维度模型是数据仓库领域另一位大师所倡导，他的数据仓库工具箱是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快速完成分析需求，同时还有较好的大规模复杂查询的响应性能。维度建模典型的代表是我们比较熟知的星形模型(Sa-sMcMa),以及在一些特殊场景下适用的雪花模型(Snow-sckc3)。维度建模中比较重要的概念就是事实表(Fact table)和维度表(Di/eg.。八Mb/e)。其最简单的描述就是，按照事实表、维度表来构建数据仓库、数据集市。H前在互联网公司最常用的建模方法就是维度建模，稍后