谈谈如何跨越数据架构的漩涡.docx

《谈谈如何跨越数据架构的漩涡.docx》由会员分享，可在线阅读，更多相关《谈谈如何跨越数据架构的漩涡.docx（5页珍藏版）》请在第一文库网上搜索。

1、谈谈如何跨越数据架构的漩涡目录1 .前言12 .是风口还是漩涡，数字化转型转什么？23 .充分利用技术驱动力，数字化转型如何转？24 .热度与理性，数字化转型稳中求进35 .用不同的方式思考数据36 .构建企业统一的数据平台51.前言如果让当前数据工程领域的人绘制一个“现代”数据架构，几乎肯定会得到如下结果:这样的数据架构格局反映了基于系统的架构设计方法。这种基于系统的架构有何现代感？它已经存在了将近10年，并且没有太大变化。该架构由三个主要组件组成：数据仓库、数据湖和数据集市（或服务层）。首先是数据仓库。之所以需要拥有独立的数据集市和数据湖，是因为那些传统的数据仓库无法扩展以满足置于其上的不

2、同的、相互竞争的应用场景。数据集市的出现是因为中央数据仓库无法扩展以满足最终用户的不同应用和高并发需求。然后是数据湖，因为企业数据仓库无法存储和处理大数据（在数量、种类和速度方面）。创建数据湖和数据集市是为了满足当时数据工程领域的实际需求。即使在今天，数据仓库仍然无法支持企业的所有不同应用。即使对于较新的云数据仓库也是如此。这些不同的数据系统导致了孤立的数据，这对于企业从中获取商业价值和安全治理具有非常大的挑战。2 .是风口还是漩涡，数字化转型转什么？大象转身从来都不是一件容易的事情，尤其是国企需要肩负更多责任与使命，更需要面向未来，坚持常态长效。关于加快推进国有企业数字化转型工作的通知指出国

3、企数字化转型要有三个基本认识，一是深化对数字化转型艰巨性、长期性和系统性的认识，二是强化数据驱动、集成创新、合作共赢等数字化转型理念，三是营造勇于、乐于、善于数字化转型的文化氛围。数字化转型绝非实现业务本身的数字化这么简单，而是企业的一次巨大变革，涉及商业模式、运营模式等方方面面的变化。鲁勇以华为自身实践指出落地数字化转型战略的5个转变，包括意识的转变、组织的转变、文化的转变、以及方法的转变和模式的转变。所以，国有企业要以价值为导向，通过数字化转型重构价值体系，满足高质量发展新要求。知道了转什么，那么，如何转？路径变得尤为重要。3 .充分利用技术驱动力，数字化转型如何转？瞄准体验提升，瞄准效率

4、提升，瞄准模式创新，在华为的3大数字化转型目标落地实践中，技术的最佳利用充当了“排头兵”。从基础信息化，到实现全面信息化和关键业务流程可视化，再到具备全局可视化及分析能力的全面系统化，最终通过A1等技术应用，实现业务管理向全面智能化发展，实现智慧生态化。在技术落地方面，鲁勇提出更好地规划设计以及应用新技术的演进步骤。首先，联接是基础，通过5G、光技术等建立广泛的联接与交互，将各种设备、传感器、控制器连接起来，构建起数据上传下达的联接大通道，智能感知与智能联接打通了物理世界与数字世界的实时交互，激发创新潜力。在朝阳区坝河，华为就帮助朝阳水务局打造了5G无人船巡检解决方案，整体采用云、网、边、端的

5、一体化方案，5G无人船自动巡河，实现高清视频实时回传，移动水质自动监测，650米河道巡检仅需78分钟完成，效率提升近10倍；在三一重工，通过建设5G全连接工厂，华为帮助其实现制造业数字化、网络化、智能化的转型升级，整体产能提升66%,人力需求减少60%,场地压缩30%o其次，向下汇集数据、使能数据，向上支撑能力平台、场景应用的智能中枢是核心支撑，通过云基础设施，以及应用使能、A1使能、数据使能，进行类似大脑的数据分析和智能计算，智能中枢发挥了关键决策作用。在北汽福田，华为助力福田汽车以一云、四互联、五智能的理念构建运营操作系统，北汽福田采用“公有云+私有云”的统一云平台部署模式，以云原生技术改

6、造传统应用，实现基础设施利用率提升30%；在中关村壹号，华为助力其建设了智能运营中心IOC,这一平台实现对园区现有/未来建设的独立子系统的统一接入和集成，打造了可以“自进化”的园区大脑，提升了园区运营管理效率。第三，把技术产生的价值交付给使用者，智慧应用是打开数字化转型面向千行百业的入口，通过联合伙伴打造各种智慧应用，百花齐放，它将帮助企业重构体验、优化流程、使能创新。在民生银行，通过与华为建立联合创新实验室，民生银行构建了“文案生成P1eK”系统，使得信用卡业务营销方案的平均点击率提升25%,有效地提高了营销活动的曝光率和营销转化率；在北京天坛医院，通过与华为合作开展A1医学影像创新和实践，

7、帮助医生提高了阅片效率，实现更精准的定性诊断和更高效的治疗决策，以及治疗后预后评估等全疾病预防、诊断、治疗和恢复。4 .热度与理性，数字化转型稳中求进整体而言，华为持续用创新技术赋能产业，深度参与了北京各行各业大型企业的数字化转型，在制造、金融、医疗等领域与包括国有企业在内的众多行业企业共同打造了多个业界领先实践。在此背后，华为基于自身实践，以及帮助客户解决转型中问题的经验，提出了“智能体”这一数字化转型的技术参考架构。企业可以在架构牵引下，通过场景驱动，小口切入，快速迭代，逐步实现数字化转型从低阶到高阶的跨越。当然，企业深化数字化转型，要明确转型方向、目标和重点，勾画商业模式、经营模式和产业

8、生态蓝图愿景。尤其对国企数字化转型而言，“不仅要热度，更重要的是保持理性，从边缘走向核心，一步一个脚印扎实前进。”鲁勇说道。纵观华为数字化转型实践，数字化转型需要转意识、转组织、转文化、转方法、转模式，对准用户体验、对准业务作业、打造数字平台共同促进体验提升、效率提升与模式创新。无论政策还是市场环境，数字化转型的蓝图已描绘好，企业把稳航行之舵，现在是时候远航，且到了关键时期，勇敢、扎实地迈出去。5 .用不同的方式思考数据为了优化数据架构，我们需要停止根据现有类型的系统来思考数据，例如遗留数据仓库、数据集市和数据湖。这样做没有帮助，而且会在企业数据环境中引入人为的边界。以下是关于如何以不同方式思

9、考数据的建议。在较高级别，可以将所有企业数据分组到以下逻辑数据区域:Somi-StrvQWeDAP1sOOOOOO000RawRawdata,noIransfbnnations.OOOOOOI；OOO；ConformedReferenceMode1edDatasuazationIRawaiddedupedBusinesshierarchies,data,datatypemanua1mappings,Integrated,c1eansed,mode1eddata.Oftendimensiona11ymode11ed.masterdatamatcossourceschemaStandanfizat

10、ion(dates)ReocrtingScienceAdR因此，让我们开始按照这样的区域而不是系统来考虑数据。旧的基于系统的思维将继续让数据工程专业人员陷入旧的做事方式，并将继续分裂数据格局。采用新的思维模式，无需将数据区域划分为不同的孤立数据系统，例如:当像单一平台可以打破这些孤岛时，为什么还要用以前的思路思考呢？我们不应考虑系统问题，而应考虑为所有企业数据建立一个单一平台，例如6 .构建企业统一的数据平台我们通常使用多个名称来标识数据的位置和使用方式，包括操作数据存储(ODS).企业信息工厂(CIF),数据仓库、数据集市等等。每个术语代表在企业内对数据进行分组的不同方式。但不幸的是，今天那

11、些不同的数据组代表了不同的数据系统。让我们开始根据区域(或数据类型)而不是系统来考虑数据。企业数据架构的目标绝不是将数据格局拆分为多个不同的系统，特别是拆分为数据仓库、数据集市和数据湖。我们需要停止做一些事情，因为“他们总是那样做”，并重新思考我们正在努力完如下所示:O1TPDatabasesEnterpriseApp1icationsThird-PartyWeb/1ogDataIoTDataConsumersDataMonetizationOperationa1ReportingQrAdHoc-Ana1ysisri（）（OReaI-GmeAna1ytics成的事情。我们的目标应该是为企业的所有数据建立一个统一的平台，例如,数据应用程序和数这样的数据平台可以支持所有的数据仓库、数据湖、数据工程、数据交换、据科学的应用场景，我们可以将数据仓库、数据集市和数据湖整合到一个平台中。大多数“云”数据仓库都是20多年前设计的，并且己经迁移到云端。他们无法真正利用云的可扩展性。而那些最近设计的系统不提供完整的企业数据管理体验，提供治理、符合ACID的交易、实时数据共享、完全托管服务等。现在是时候开始以不同的方式思考我们的数据了。