大数据咨询方法论白皮书.docx

《大数据咨询方法论白皮书.docx》由会员分享，可在线阅读，更多相关《大数据咨询方法论白皮书.docx（21页珍藏版）》请在第一文库网上搜索。

1、大数据咨询方法论白皮书BigDataConsultancyWhiteBook2019年9月6日大数据咨询方法论白皮书19目录1 .大数据咨询的时代背景2 .大数据咨询的定义和需求来源3 .大数据咨询的核心特征和挑战4 .大数据咨询的核心方法论5 .大数据咨询工具：360。数据管家6 .奇点云大数据咨询探索与实践大数据咨询的时代背景智能经济成为经济发展的新引擎数字经济尚方兴未艾，智能经济却已经大步而来。2019年政府工作报告，正式提出了智能+战略：-深化大数据、人工智能等研发应用。打造工业互联网平台，拓展“智能+”，为制造业转型升级赋能。2019年5月，在全球智慧物流峰会上，阿里巴巴CEO张勇也

2、喊出了数智化的口号：未来的物流一定是从数字化到数智化，数智世界将是我们共同面临的时代。人工智能（AI）将成为经济发展新引擎，已经成为全行业的共识。普华永道报告认为，到2030年时，AI对全球经济的贡献将高达15.7万亿美元，这超过了目前中国和印度的经济总量之和；埃森哲分析报告称，2035年，AI将帮助人类经济年增长率翻番；麦肯锡发布人工智能对全球经济的影响报告，认为未来10年AI为全球GDP将贡献1.2%增长。数据中台演进的四个阶段第一阶段,第二阶段第三阶段第四阶段单一业务系统阶段.数据中台成为数字化转型的基础设施随着越来越多的企业上云，如何更好地利用云计算、大数据和人工智能的力量就成为了他们

3、探索的主题。要如何通过技术来赋能企业数字化转型？如何让技术投入产生业务价值？是否需要调整组织？企业提出了越来越多的问题。数据中台，狭义上，就是解决这一系列问题的基础设施。2018年以来，随着阿里巴巴双中台架构的普及，越来越多的企业把中台视为面向未来的企业进化必经之路，开始寻求数据中台服务公司的帮助。2019年，甚至可以称为数据中台元年。数据问题成为数字化转型的关键问题随着企业把越来越多的业务和流程搬上云，以及使用了新的数字技术进行研发、生产、制造和销售领域的革新，数据问题开始大量暴露出来。统计口径不一致导致的数据质量问题；采集技术问题导致采集的数据一半是空值；缺乏实时计算能力不能提供实时数据，

4、导致管理的滞后性；数据分析和调研严重滞后于业务进展，不能实时决策数据问题已经成为企业数字化转型的关键问题，数据资产将成为企业核心的战略资InformationCreatedWorldwide=ExpectedtoContinueAccelerating二I153ZB.36%Structured(Tagged，厂C了二人*三尸。1604二2020；47ZB,16%2015:12ZB.9%2010:2ZB,9%2005:0.1ZB产。只有数据问题被解决，企业才能真正实现数字化转型。2019年9月，联合国发布了最新的数字经济报告，报告认为，数字经济扩张的驱动因素是数字数据和数字平台，在收集使用和分析

5、大量数字数据的能力推动下，数字经济继续以极快的速度发展。从全人类的角度来看，2015年是数据增长的里程碑。2015年一年产生的数据量，是人类过去历史上产生的数据量的总和。从2015年之后，人类的数据量进入指数级增长，每年增长40%-50%0随着数据量的增长，一个全新的数据价值链开始浮现。从数据采集、数据存储到数据治理再到数据应用，数据生产进入了全新的数据工业时代，海量非结构化的数据被结构化，从日志数据到视图声数据，人类开始以全新的数据视角审视这个世界。并且，越来越多的数据产品、越来越多的数据生态开始在这个过程中被创造出来，商业数据、社会数据、政府数据前所未有地交融在一起，为人类创造新的价值。阿

6、里巴巴的启示：数据智能是未来2007年，阿里巴巴在战略会议上决定阿里未来要成为一家数据公司。但真正在数据上有所建树，却要把这个时间延后到2009年，阿里云也诞生在这一年。大体上可以把阿里的整个跨越过程分成三个阶段:第一个阶段：2009-2012年，关键词是看见。从2003年成立以来，淘宝收集了大量的数据，其中90%是非结构化的日志数据，当有了这些数据之后，所有人都想看见数据背后的真相：我的用户从哪里来，他们买了什么，为什么购买，转化率如何这些问题我们大体都可以归结为两个基本问题：发生了什么？怎么发生的？和去IOE同步发生的，是阿里加大了对于BI（商业智能）的需求，用数据看见答案的BL在这个阶段

7、是阿里存储和计算资源消耗的主力军。阿里巴巴也是第一个设立CDO（ChiefDataOfficer,首席数据官）的公司，第一任CD0是后来的阿里巴巴CEO陆兆禧，有意思的是，后来成立的数据平台部因此也习惯性被内部称为CDO。第二个阶段：2012-2015年，关键词是使用。一个标志性的事件是2012年数据平台部的成立，这个被称为CDO的部门，源于七公组建的数据平台团队，在这个团队手上，诞生了一系列数据分析和挖掘工具，包括在云端、数据魔方、淘宝时光机、淘宝指数、TCIF等等。这里特别要提一下TCIF（淘宝消费者数据工厂），由现在奇点云的创始人行在创立，拉通了阿里巴巴所有的消费者数据没，并且完成了30

8、00+标签体系的建设，这些标签每个用阿里妈妈做精准营销的同学应该都见过，就是达摩盘里面那些勾选的选项。2012年的标志性事件，就是TCIF的存储和计算消耗量超过了BI,以TCIF为代表的人群定向成为了计算资源的消耗大户；另一个标志性的指标是，阿里巴巴有50%的服务器不再处理任何事务，而仅仅用于处理数据。这个阶段，阿里巴巴开始真正实现了用数据预测未来的问题，更好地帮助业务去回答：为什么发生？未来将发生什么？第三个阶段：2015年至今，关键词是赋能。同样，2015年也有两个标志性事件：一是阿里云数加平台的成立（行在创立），这代表阿里巴巴开始把内部形成的大数据能力外化，赋能社会去建立大数据能力；二是

9、推出千人干面算法，推荐算法一跃成为了存储和计算资源的头号消耗大户。推荐算法不仅仅是我们看到的淘宝界面那么简单，在某种程度上，推荐算法让阿里巴巴跨越了从人指挥机器到机器指挥人的奇点，今天阿里巴巴75%以上的GMV都由机器来运营，流量由机器来精准分配，相比之下，天猫淘宝等等全部合在一起也只有几千个运营小二，人效高得可怕。总结：经过这三个阶段，我们可以认为，阿里巴巴已经围绕数据完成了数据工业化生产链条的搭建，并且围绕着数据链条建立了丰富的数据生态通过低成本的业务在线化一连接企业和客户，再通过数据在线化看见业绩和顾客，然后建立数据使用能力来预测未来，最后用数据智能赋能业务转型成服务公司或者平台公司。包

10、括最初的连接买家和卖家的阶段在内，连接-看见使用赋能四个阶段，让阿里巴巴成功跨越数据指数级增长的奇点，构建起数据智能的未来。传统咨询业务范畴需求粗织设计产业研究市场分析业务选择商业设计组织模式组织管控组织发育定岗定编技术驱动人才理招聘管理激励体系绩效管理培训管理评聘任用大数据咨询业务范畴大数据咨询的定义和需求来源大数据咨询的定义大数据咨询是由奇点云在实践过程中所提出的定义，我们认为大数据咨询是在传统咨询以外，基于技术驱动数字化转型的需求，通过咨询的方式，帮助企业更好地去规划数据智能的未来，围绕数据构建企业的数字化转型能力和数据生态，让数据真正发挥业务价值，更好地进行企业的战略规划、组织设计和人

11、才管理等等。大数据咨询的需求来源大数据咨询最初的需求，来自于企业数字化转型中如何建设数据中台以及数据资产管如何面向未来建立合适的企业数据战略?数据资产是企业的战略资产如何规划建立企业数据中台基础设施?用什么技术来建设企业数据中台？用什么方式来建设企业数据中台？咨询类型数字化转型品牌咨询财务咨询1=人才咨询管理咨询IT咨询胃大数据咨询商业设计数字化转型战略咨询需要具备端到端的解决能力帮助企业成为面向未来的数据公司技术驱动而求和问题场景落地数据（中台）战略咨询台/平台建设，数据资产管理体系建设数字化转型能力建设数字化转型战略目前遇到的主要星数据问题数字化转型战略咨询数字化转型现状评估、诊断和对策和

12、数据相关的商业和组织设计策略理体系的诉求。这些诉求包括：大数据咨询的核心特征和挑战未来所有的公司都将是数据公司，目前，基于云计算、大数据和人工智能，新一代大数据咨询应运而生，通过数据战略/治理/规划/交付等方式，帮助企业建立数字化转型的平台能力和数据能力，通过算法赋能商业，让数据创造价值。大数据咨询和传统咨询有两个主要区别一是其咨询方法论来源于数据中台建设经验和数据资产管理体系建设经验。奇点云所提出的大数据咨询方法论正式来自于创始人12年的阿里巴巴数据经历，以及3年的数据创业实践，奇点云创始人及核心团队都完整经历了阿里巴巴数据发展的四个阶段。其中，行在本人创建了阿里巴巴第一个数据仓库（DW）；

13、第一次打通了阿里巴巴消费者数据建立了TCIF（淘宝消费者数据工厂），现在阿里巴巴的消费者标签都源自于TCIF；创建了阿里云数据平台数加，把阿里巴巴的数据能力外化赋能社会。二是大数据咨询的目标是端到端帮助企业建设数字化转型能力，在目前阶段，还需要具备丰富的项目实施经验乃至交付能力。数据中台狭义上是一整套技术能力的集成，但要真正为企业产生价值，就需要从商业设计和组织设计的角度，真正找到落地的业务场景，通过建立数据资产管理体系、辅助管理决策、算法代替经验公式等方式来真正实现企业的数据决策，以及业务端的降本增效。奇点云70%以上都是IT工程师，拥有完整的云+端大数据产品，以及数年来累积的数据中台实施经

14、验，这些都是大数据咨询的必要条件。大数据咨询的需求类型1 .数字化转型战略咨询企业数字化转型面临业务和组织、人才的瓶颈，数据相关痛点高发，企业需要面向未来建立可扩展的数字化转型能力，在此基础上使用SKOTT模型和数据发展阶段模型等对企业数字化转型现状进行评估和诊断，协助企业统一高层认知、进行商业设计和组织设计、制定未来2-3年的数字化转型规划等等。2 .数据（中台）战略咨询企业已经认识到数据对于企业数字化转型的核心作用，并且把数据视为公司核心资产，有意愿采用最新的数据技术和理念，比如数据中台，在此基础上使用数据成熟度方法论（8大领域、36个维度）等主要实践方法论对企业数据资产化、业务智能化现状进行评估和诊断，协助企业进行现代数据资产管理制度的建设规划。3 .业务调研和数据摸底企业将要或者规划通过引入数据技术来解决具体的业务场景问题，基于该数据项目需求开展该领域及项目相关领域的业务调研和数据摸底，充分了解业务目标、流程、场景基础上，对数据采集、治理、存储、使用现状等进行深入摸底，对项目需求建立正确理解，并为下一步实施提供充分的资料和建议。大数据咨询面临的挑战1 .理念冲突面向未来的数据中台建设不仅仅是技术的集成，更是一种新的数字化转型理念，需要企业管理团队转变观念，把数据资产作为企业的战略资产来经营，这和企业原有的理念将产生一定的冲突。数据资产管理体系建设，也将