如何搭建企业埋点体系.docx

《如何搭建企业埋点体系.docx》由会员分享，可在线阅读，更多相关《如何搭建企业埋点体系.docx（9页珍藏版）》请在第一文库网上搜索。

1、如何搭建企业埋点体系今天，主要通过以下几个部分了解在一个中大型的公司里面如何去完成一个数据平台，以数据采集体系平台的搭建这个完整流程，在一个小公司中借用一些开源的工具以及第三方的SaaS的服务，能够进行一个简单的行为分析平台的搭建。1、什么是用户行为数据及其重要性2、如何在公司里面去搭建采集体系3、如何规范这个埋点的业务4、我们常见的工具以其他人的产品有哪些一、行为数据及其重要性比如说今天中午11: 50的时候，在这个美团的首页进行了一个外卖按钮的点击。那这个时候话美团公司它会记录到我中午十五十一点五十分在这个美团APP的首页，点击了这个外卖的按钮，然后会传一条信息包含类似截图右侧的格式数据就

2、会发送给这个美团的服务器。某个用户在某个时间点在某个地方以某种方式完成了某个具体的操作1.1基础名词解释基础名词解释埋点事件用户行为过程和结果的记录，包含事件和属性。多缚事件模型事件模型包括事件Event和用户User两个核心，使用Event记录用户在产品上的各种行为，使用User记录用户的基础属性信息。二者可以分布进行分析也能费穿起来进行关联分析。埋点SDK对于客户端App、网站小程序通常我们会通过嵌入SDK的方式对数据进行采集用户行为分析在众多数据中大致可以划分为三类数据，业务库数据、服务端接口数据、用户行为数据。在移动产品的迭代过程中非常重视用户的产品使用体验，此时对行为数据和业务数据进

3、行关联分析分析的场景诉求就变得尤为强冽。这时就有了用户行为分析产品的出现，专门用于分析用户在端上行为。1.2行为数据常见的应用场景1、最简单的话我们会去做这个公司里面的产品迭代，然后功能模块使用分析。2、是说我们做了一个线上的活动，然后使用这一些数据来进行评估。3、使用用户的行为数据，去做用户画像4、根据这个用户的偏好去推荐广告这个是用户的行为数据，它常见的应用的场景这一块话，相信大家在公司里面最常见的应该是第一个跟第二个就是我用这个数据去衡量上线的好坏，这个是他的应用场景会有这一些。二、如何搭建一个埋点采集体系在整个过程中有三个重要的因素资源 人员流程规范场营品速运产业务篇求、数据产品开发需

4、求评估成本、排期服务端撮口采集算法推荐等如何搭建二过程中的角色&分工需求收室 理点万案 数据奈集评审万里 采集&验证 上线使用看看业务指标惮估产品效果指导业务迭代数据汾折输出看板数据明细在埋点采集到应用过程中涉及到各个不同角色相互配合，会有各自的分工。从业务需求方开始。比如说市场运营产品开始提需求，数据产品根据产品对这个业务同学这里的需求进行评审以后，梳理出这个用户的业务路径，然后抽象出场景组件，完成这个指标体系的搭建。输出埋点的需求文档DRD然后我们把这个文档交付给到开发。开发这里的话会把埋点需求文档跟产品技术文档一样，做一个需求的可行性方案优先级一个评审这个埋点能不能做，这个数据能不能采集

5、，采集采集的量有多大等等关于埋点需求文档展开一些细节讲讲如何搭建-埋点采集文档模板submrtOrdercommoditylDcommodityNamefirstCommodrtvsecondCommodrtypfcePerCommoditycommoditvNumbershopptnqartEntrdnceordedDorder AmountrecerverName 5?iTMrecerverProvincereceiverCitvrecererArearecerverAddresstransportationCostsA&ID品名导电品一线分奂南丛二绿分决就品单价Rfiftl加入制B车人口

6、RVKttn*iD订金校货人姓名收贷人看份RBAMW收货人地区收货地址isB苻将苻苻值值将符符值符符用将wtt字字字字数R字字字R字字字字字R抽取出实现分析指标需要的事件、事件属性、用户属性事件和属性命名统一采用下标命名法姚峰命名 事件和JB性的命名单调全部为名词属性命名的，使用单调为通用名词 方便复用通用的字段属性蝮用巳有字段，如topicjd. orderJd bool值属性值严格执行，不可使用返回字符串0、1是、否等代替如果是SaaS盥务避开默认字段属性名上面这个是一个比较典型的埋点需求文档样例，包含事件名、属性信息、触发时机、示例等等基础的埋点信息，在实际设计埋点需求文档时需要考虑命名

7、的规范、属性信息的复用等等。2.1 实现方式之采购第三方产品目前一般有通过采购和自研 以及采购后增加自研进行如何搭建潞线之采购第三方;Saa醐艮务2.2 实现方式之自研产品实现路线之开源方案+自研通用数据分析路线行为分析专业路线采集存储可视化开发定义通用存储通用Bt产品 Nginx LogstashAPI开源SDK TiDB HiveESOLAP常用 Metabase Superset Redash Tableau PowerBI自研分析模块神第SDK易观SDK鬼集SDK Mixpanel Echarts Hightchart AntV Cube.js Clickhouse Impala Du

8、rid Kylin Presto第二种以自研为主的实现方式，中间会有几个关键的环节，数据采集、数据存储（含计算引擎）、数据可视化 数据采集对行为数据采集部分我们一般封装为埋点采集的SDK,然后嵌入到不同的客户端中。SDK的作用在于封装好一些公共的参数信息、上报方式以及帮助各端开发简化数据上报的过程。同时也在基础层面上支持类似可视化埋点、圈选埋点、全埋点等不同的埋点方式。 数据存储（含计算引擎）在行为分析领域里面，现在最热门的是使用Clickhouse做存储及计算引擎，这个笔者所在公司，每日千亿级别的数据增量可以比较高效从容的进行行为数据分析。对于数据并没有那么大的公司也可以根据自身情况选择诸如

9、Durid Impala等计算引擎 数据可视化分析的结果在大部分团队内部都希望能以可直观查看的方式进行展示，包括一些简单的图表、数据看板等。这部分如果选择完全自研的话成本比较高，一般的处理方式有两种，一种采用开源的图表组件进行二次开发，例如使用范围比较广的Echarts、AntV等进行定制化的图表开发。另外也可以直接在上游的分计算引擎上直接接入传统意义上的BI可视化产品进行最终数据结果的展示。这类产品开源和和商用的都比较丰富，国内大多是以敏捷BI的Title宣传，在开源侧则可以选择使用受众比较多的Superset和Metabase,前者功能丰富，后者颜值交互更高。三、如何规范埋点业务针对如何规

10、范埋点业务，我们也是从组织和工具两方面进行，组织层面上我们划分为业务相关和技术相关，各自都需要一个关键对接人。如何规范-关键组织领和决策人数据采集项组（虚拟or实体组）业务对接人业务对接人- 慢业务，清楚业务流程- 数据意识和基础、数据理解能力- 主动意识强- 梳理，撰写文档能力- 比较强的培训和表达能力产品经理运营市场增长投放AndroidiOSWeb小程序技术对接人- 懂业务，清楚业务流程- 熟悉数据采集原理和各种技术方案- 规范、抽象能力- 重视数据平台建设 对业务对接人业务对接人主要是对业务需求的汇总抽象，高效的设计埋点采集事件及公共参数等。提升整体数据采集的可复用性和规范。这个角色也

11、需要一些比较突出的特质 既要有数据相关的基础，又要业务流程熟悉，能帮助业务产品梳理清楚需要采集的数据内容，查看的指标范围。 技术对接人对技术对接人来说，核心职责是能在采集上报层面做到技术高效实现。借助开源或者自研的埋点采集SDK完成数据底层支持。如何实现-埋点测试方式及工具产品迭代“数据产品”埋点开发“埋点测试”数据指标需求埋点DRD文档埋点评审埋点开发开发自测埋点测试人肉view/ConsoleKibana等测试后台自动化测试报告石墨文档表格后台手动录入自动回补至后台代码埋点可视化埋点全埋点、无埋点服务端接口采集整个实操过程中需要有相关工具产品的支持 埋点管理在初期阶段使用在线表格文档方式进

12、行管理，后期逐步开发稳定的后台产品并且和埋点分析下游使用数据方的系统打通，方便埋点元数据信息对接。 埋点开发这块最简单的方式就是使用代码埋点，比如点击绑定Onclick函数上报自定的字段信息，进阶后使用全埋点、可视化圈选埋点等方式提升埋点采集效率 埋点测试埋点测试是在开发完了以后需要在测试工具上去做数据的验证。最原始的就是去做人肉的view,就是我们拿一个小板凳蹲到开发工位旁边去看一下这个代码，它触发你看数据，这个对不对？这个是最原始的。另外有Kibana之类的查询工具可以协助快速的做埋点日志的查询提供简单的可视化展示。另外也可以尝试做自动化测试，自动mock数据生成测试报告，版本回归测试效率

13、都极高。四、常见的产品和服务常见工具&开源产品数据整合服务SegmentSnowplow AnalyticsStitch行为分析产品神策 SensorData字节 DataFinderGrowing IOTracking IOTalkingdata诸葛IO友盟百度移动分析腾讯移动分析易观阿拉丁Google analyticsFirebaseFabricMixpannelAmplitudeHeapKissmericsLookerPendo通用Bl工具Google data studioTableauPowerBISupersetRedash整个环节的话就讲完了，然后会有几个不同的文档跟工具，这个

14、会的话给大家分享一下我们常见的工具跟市面上可以用的开源的产品。我这边分了三个类型给大家分享列出来 第一个是行为分析的产品国内外都有很多行为分析产品可以采买，但是每家的擅长点以及费用都略有不同，可以试用一下相关的产品然后决定是否采购 第二个是通用的BI的工具这类产品在数据平台搭建的时候也是非常重要，通常我们在初期会将行为数据和BI工具合并在一起进行业务支持，到后期后会拆分出来成为两条不同的业务产品线。 第三个是数据整合服务商五、小结总的来说在一个团队里面搭建一个埋点采集到应用的体系有多种实现的路径和方法，并不存在最好，只有在当前阶段最合适的方案。选择合适的方法，再配合适当的运营落地实现动作便可以完成对业务的高效支撑。