2万字详解数据湖概念特征架构方案场景以及建湖全过程.docx

《2万字详解数据湖概念特征架构方案场景以及建湖全过程.docx》由会员分享，可在线阅读，更多相关《2万字详解数据湖概念特征架构方案场景以及建湖全过程.docx（55页珍藏版）》请在第一文库网上搜索。

1、2万字，详解数据湖，概念,特征.架构.方案.场景以及建湖全过程（建议收藏）导读：最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？各大厂商的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。本文共有以下7个章节：1.什么是数据湖2.3.数据湖的基本特征4.5.数据湖基本架构6.7.各厂商的数据湖解决方案8.9.典型的数据湖应用场景10.11.数据湖建设的基本过程12.13. 总结一、什么是数据湖数据湖是目前比较热的一个概念，许多企业都在

2、构建或者计划构建自己的数据湖。但是在计划构建数据湖之前，搞清楚什么是数据湖，明确一个数据湖项目的基本组成，进而设计数据湖的基本架构，对于数据湖的构建至关重要。关于什么是数据湖，有如下定义。Wikipedia是这样定义的：数据湖是一类存储数据自然/原始格式的系统或存储，通常是对象块或者文件。数据湖通常是企业中全量数据的单一存储。全量数据包括原始系统所产生的原始数据拷贝以及为了各类任务而产生的转换数据，各类任务包括报表、可视化、高级分析和机器学习。数据湖中包括来自于关系型数据库中的结构化数据（行和列）、半结构化数据（如CSV、日志、XML、JSON ）、非结构化数据（如email,文档、PDF等）

3、和二进制数据（如图像、音频、视频）。数据沼泽是一种退化的、缺乏管理的数据湖，数据沼泽对于用户来说要么是不可访问的要么就是无法提供足够的价值。AWS的定义相对就简洁一点：数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析-从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。微软的定义就更加模糊了 ,并没有明确给出什么是Data Lake ,而是取巧的将数据湖的功能作为定义：Azure的数据湖包括一切使得开发者、数据科学家、分析师能更简单的存储、处理数据的能力，这些能力使得用户可以存

4、储任意规模、任意类型、任意产生速度的数据，并且可以跨平台、跨语言的做所有类型的分析和处理。数据湖在能帮助用户加速应用数据的同时，消除了数据采集和存储的复杂性，同时也能支持批处理、流式计算、交互式分析等。数据湖能同现有的数据管理和治理的IT投资一起工作保证数据的一致、可管理和安全。它也能同现有的业务数据库和数据仓库无缝集成，帮助扩展现有的数据应用。Azure数据湖吸取了大量企业级用户的经验，并且在微软一些业务中支持了大规模处理和分析场景，包括Office 365,Xbox Live, Azure, Windows, Bing 和 Skypeo Azure 角牟决了许多效率和可扩展性的挑战，作为一

5、类服务使得用户可以最大化数据资产的价值来满足当前和未来需求。关于数据湖的定义其实很多，但是基本上都围绕着以下几个特性展开。1. 数据湖需要提供足够用的数据存储能力，这个存储保存了一个企业/组织中的所有数据。2. 数据湖可以存储海量的任意类型的数据，包括结构化、半结构化和非结构化数据。3. 数据湖中的数据是原始数据，是业务数据的完整副本。数据湖中的数据保持了他们在业务系统中原来的样子。4. 数据湖需要具备完善的数据管理能力（完善的元数据），可以管理各类数据相关的要素，包括数据源、数据格式、连接信息、数据schema.权限管理等。5. 数据湖需要具备多样化的分析能力，包括但不限于批处理、流式计算、

6、交互式分析以及机器学习；同时，还需要提供一定的任务调度和管理能力。6. 数据湖需要具备完善的数据生命周期管理能力。不光需要存储原始数据，还需要能够保存各类分析处理的中间结果，并完整的记录数据的分析处理过程，能帮助用户完整详细追溯任意一条数据的产生过程。7. 数据湖需要具备完善的数据获取和数据发布能力。数据湖需要能支撑各种各样的数据源，并能从相关的数据源中获取全量/增量数据；然后规范存储。数据湖能将数据分析处理的结果推送到合适的存储引擎中，满足不同的应用访问需求。8. 对于大数据的支持，包括超大规模存储以及可扩展的大规模数据处理能力。综上，个人认为数据湖应该是一种不断演进中、可扩展的大数据存储、

7、处理、分析的基础设施；以数据为导向，实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理；并通过与各类外部异构数据源的交互集成，支持各类企业级应图1.数据湖基本能力示意这里需要再特别指出两点：1. 可扩展是指规模的可扩展和能力的可扩展，即数据湖不但要能够随着数据量的增大，提供足够的存储和计算能力；还需要根据需要不断提供新的数据处理模式，例如可能一开始业务只需要批处理能力，但随着业务的发展，可能需要交互式的即席分析能力；又随着业务的实效性要求不断提升，可能需要支持实时分析和机器学习等丰富的能力。2.以数据为导向，是指数据湖对于用户来说要足够的简单、易用，

8、帮助用户从复杂的IT基础设施运维工作中解脱出来，关注业务、关注模型、关注算法、关注数据。数据湖面向的是数据科学家、分析师。目前来看，云原生应该是构建数据湖的一种比较理想的构建方式，后面在数据湖基本架构一节会详细论述这一观点。3.二、数据湖的基本特征对数据湖的概念有了基本的认知之后，我们需要进一步明确数据湖需要具备哪些基本特征,特别是与大数据平台或者传统数据仓库相比，数据湖具有哪些特点。在具体分析之前，我们先看一张来自AWS官网的对比表格上表对比了数据湖与传统数仓的区别，个人觉得可以从数据和计算两个层面进一步分析数据湖应该具备哪些特征。在数据方面：保真性：数据湖中对于业务系统中的数据都会存储一份

9、一模一样的完整拷贝。与数据仓库不同的地方在于，数据湖中必须要保存一份原始数据，无论是数据格式、数据模式、数据内容都不应该被修改。在这方面，数据湖强调的是对于业务数据原汁原味的保存。同时，数据湖应该能够存储任意类型/格式的数据。灵活性：上表一个点是写入型schema vs 读取型schema,其实本质上来讲是数据schema的设计发生在哪个阶段的问题。对于任何数据应用来说，其实schema的设计都是必不可少的，即使是mongoDB等一些强调无模式的数据库，其最佳实践里依然建议记录尽量采用相同/相似的结构。写入型schema”背后隐含的逻辑是数据在写入之前，就需要根据业务的访问方式确定数据的sch

10、ema ,然后按照既定schema ,完成数据导入，带来的好处是数据与业务的良好适配；但是这也意味着数仓的前期拥有成本会比较高，特别是当业务模式不清晰、业务还处于探索阶段时，数仓的灵活性不够。数据湖强调的读取型schema,背后的潜在逻辑则是认为业务的不确定性是常态：我们无法预期业务的变化，那么我们就保持一定的灵活性，将设计去延后，让整个基础设施具备使数据按需贴合业务的能力。因此，个人认为保真性和灵活性是一脉相承的：既然没办法预估业务的变化，那么索性保持数据最为原始的状态，一旦需要时，可以根据需求对数据进行加工处理。因此，数据湖更加适合创新型企业、业务高速变化发展的企业。同时，数据湖的用户也相

11、应的要求更高，数据科学家、业务分析师（配合一定的可视化工具）是数据湖的目标客户。可管理：数据湖应该提供完善的数据管理能力。既然数据要求保真性和灵活性，那么至少数据湖中会存在两类数据：原始数据和处理后的数据。数据湖中的数据会不断的积累、演化。因此，对于数据管理能力也会要求很高，至少应该包含以下数据管理能力：数据源、数据连接、数据格式、数据schema （库/表/列/行）。同时，数据湖是单个企业/组织中统一的数据存放场所，因此，还需要具有一定的权限管理能力。可追溯：数据湖是一个组织/企业中全量数据的存储场所，需要对数据的全生命周期进行管理，包括数据的定义、接入、存储、处理、分析、应用的全过程。一个

12、强大的数据湖实现，需要能做到对其间的任意一条数据的接入、存储、处理、消费过程是可追溯的，能够清楚的重现数据完整的产生过程和流动过程。在计算方面，个人认为数据湖对于计算能力要求其实非常广泛，完全取决于业务对于计算的要求。丰富的计算引擎。从批处理、流式计算、交互式分析到机器学习，各类计算引擎都属于数据湖应该囊括的范畴。一般情况下，数据的加载、转换、处理会使用批处理计算引擎；需要实时计算的部分，会使用流式计算引擎；对于一些探索式的分析场景，可能又需要引入交互式分析引擎。随着大数据技术与人工智能技术的结合越来越紧密，各类机器学习/深度学习算法也被不断引入，例如TensorFlow/PyTorch框架已

13、经支持从HDFS/S3/OSS上读取样本数据进行训练。因此，对于一个合格的数据湖项目而言，计算引擎的可扩展/可插拔，应该是一类基础能力。多模态的存储引理论上，数据湖本身应该内置多模态的存储引擎，以满足不同的应用对于数据访问需求(综合考虑响应时间/并发/访问频次/成本等因素)。但是，在实际的使用过程中，数据湖中的数据通常并不会被高频次的访问，而且相关的应用也多在进行探索式的数据应用，为了达到可接受的性价比，数据湖建设通常会选择相对便宜的存储引擎(如S3/OSS/HDFS/OBS ),并且在需要时与外置存储引擎协同工作,满足多样化的应用需求。三、数据湖基本架构数据湖可以认为是新一代的大数据基础设施

14、。为了更好的理解数据湖的基本架构，我们先来看看大数据基础设施架构的演进过程。1 ）第一阶段：以Hadoop为代表的离线数据处理基础设施。如下图所示,Hadoop是以HDFS为核心存储,以M叩Reduce （简称MR ）为基本计算模型的批量数据处理基础设施。围绕HDFS和MR ,产生了一系列的组件，不断完善整个大数据平台的数据处理能力，例如面向在线KV操作的HBase、面向SQL的HIVE、面向工作流的PIG等。同时，随着大家对于批处理的性能要求越来越高，新的计算模型不断被提出，产生了 Tez、Spark、Presto等计算引擎，MR模型也逐渐进化成DAG模型。DAG模型一方面，增加计算模型的抽

15、象并发能力：对每一个计算过程进行分解，根据计算过程中的聚合操作点对任务进行逻辑切分，任务被切分成一个个的stage每个stage都可以有一个或者多个Task组成，Task是可以并发执行的，从而提升整个计算过程的并行能力；另一方面，为减少数据处理过程中的中间结果写文件操作，Spark. Presto等计算引擎尽量使用计算节点的内存对数据进行缓存，从而提高整个数据过程的效率和系统吞吐能力。图2. Hadoop体系结构示意2 ）第二阶段：lambda架构。随着数据处理能力和处理需求的不断变化，越来越多的用户发现，批处理模式无论如何提升性能，也无法满足一些实时性要求高的处理场景，流式计算引擎应运而生，例如Storm.Spark Streaming. Flink 等。然而，随着越来越多的应用上线，大家发现，其实批处理和流计算配合使用，才能满足大部分应用需求；而对于用户而言，其实他们并不关心底层的计