求职简历模板大数据开发工程师_002.docx

《求职简历模板大数据开发工程师_002.docx》由会员分享，可在线阅读，更多相关《求职简历模板大数据开发工程师_002.docx（3页珍藏版）》请在第一文库网上搜索。

1、年 龄：XXX邮 箱：xxxxxxx手 机：XXXXXXXXXXxxxxxxx大学I本科I男应聘职位大数据开发工程师期望薪资：面议一个人证书全国大学英语六级考试（CET-6）469分.就职经历2016.7至2019.2就职于XXXXXX股份有限公司，职位为大数据开发工程师。个人能力 熟练使用Java, Scala, Pythorl等编程语言。 熟悉Shell脚本语言，经常在Linux环境下编写各类脚本。 熟练Hadoop相关知识，能够熟练搭建Hadoop分布式集群。 熟练使用Hive与Mysql等关系型数据库，了解HiVe优化相关知识。 熟练使用HBase存储数据，了解rowKey设计等HBa

2、se优化方法。 熟练使用RediS数据库存储数据，能够将RediS数据库应用到业务中。 熟练使用日asticSearch存储数据，了解日asticSearch索引建立等知识，熟练 使用Kibana调度EIaStiCSearCh数据库C 熟练使用SqOOp, Kafka, FIUme等数据传输工具。 了解ZookeePer相关知识，能够熟练使用Zookeeper0 熟练使用Spark及其组件，经常使用Spark对数据进行统计与分析。 熟练使用Azkaban定时调度任务。 了解OoZie相关知识，熟练使用Oozie定时调度任务。 项目经历项目一：香哈离线数据仓库搭建与基本指标获取项目简述：针对用户

3、登录、点击、浏览等行为以及自营电商业务每日产生的离 线数据，进行数据清洗、分类以及统计。离线数据导入HiVe数据仓库的过程涉及 到了 FIume1Sqoop的使用与调优，数据统计过程中涉及到了维度退化，宽表与拉 链表的构建与调整。最终实现了对用户留存率，转化率等重要指标的获取。项目架构：Flume ； Sqoop ； Mysql ； Hdfs ； Hive ； Spark ； Azkaban;主要负责：1、根据日志数据对应用日活，周活，月活数据进行统计，统计七日内日活变 化情况。2、分析用户日活数据，对用户留存、沉默、唤醒、流失与召回情况进行统计。3、统计每日上传作品的名称，类别等明细信息。4

4、、获取自营电商每日订单流水，对订单信息进行统计。5、建立用户行为明细表，统计用户的每日浏览、收藏等行为信息，并统计用 户活跃度。6、建立用户行为宽表，统计用户的每日浏览、收藏等行为信息。7、建立基于行为数据与用户基本信息的用户画像。8、计算每日普通用户升级为会员用户的转化率。技术要点：1、使用JaVa语言编写FlUme拦截器，清洗日志数据中的不完整数据与时间 错误数据，并分流日志数据到不同的ChanneI。2、使用SqoOP传输自营电商业务数据，保存到hdfs。3、使用JaVa语言编写UDF函数，对日志公共字段进行解析，编写UDTF函 数，解析日志具体事件字段。4、通过Spark-sql保存解

5、析后的日志数据到数据仓库。5、使用SParkRDD操作对解析后日志数据进行脱敏C6、建立用户行为明细表（每日全量）,根据用户对作品行为数据,使用Spark- Sql统计用户偏好指标，结合用户所在地区等信息建立用户画像。7、使用AZkaban调度系统，定时执行任务。项目二：香哈美食推荐系统项目简述：采用每日用户行为明细数据作为原始数据集，将用户对作品的行为 转化为评分数据，根据作品的每日评分与评分有效期统计作品的综合评分。通过 Spark-MLIib计算基于Item-CF的作品推荐列表C项目架构：MongoDB ; EIasticSearch ; Redis1Spark ; Azkaban主要负

6、责：1、通过SPark-Sql读取每日用户行为明细数据，计算用户评分数据以及作品 每日平均评分数据。2、统计评分有效期内作品的每日平均评分，构建用户与作品的评分矩阵。3、通过Item-CF计算得到每日推荐作品列表。4、根据作品形式将推荐列表存入MongoDB05、使用Azkaban定时调度业务系统。技术要点：1、使用Scala语言编写用户行为明细数据的解析工具类，并建立与业务指标 相关的样例类。2、使用Spark-sql以及Spark RDD操作对解析后的用户行为明细数据进行 统计，得到评分数据.3、划分评分数据的训练集与测试集。4、通过Spark-MLIib的ALS算法得到用户对产品的预测评

7、分矩阵。5、根据用户评分矩阵计算产品间的相似度矩阵，并存储到HBaSe。6、根据作品的余弦相似度以及用户评分计算针对用户的每日推荐列表，保存入 EIasticSearch 以及 MongoDB07、通过相似度矩阵得到相似作品推荐列表，并存入EIaStiCSearCh与MongnDB08、使用Azkaban定时调度系统。项目三：香哈广告点击黑名单统计系统项目简述：实时获取广告业务日志信息以及用户行为日志信息。通过Redis数 据库存储广告日志信息，使用SPark分析广告点击日志，统计用户点击次数，广告 的点击通过率，并实时更新广告点击用户黑名单。项目架构：Kafka ； Spark ; Redi

8、s ； Mysql主要负责：Ix通过Kafka集群实时获取广告的点击日志数据。2、通过SParkRDD操作实时统计各页面各广告的点击数量。3、根据用户点击量等指标实时更新广告点击黑名单.技术要点：1、使用kafka集群实时获取广告点击日志数据。2、通过SPark-Streaming实时消费Kafka中数据，并通过RDD操作清洗错 误时间戳数据。3、利用RediS建立广告点击黑名单表，并实时更新。4、Spark RDD操作统计广告点击信息，通过Spark-streaming缓存广告业务 数据到Redis数据库，利用Redis对广告业务信息进行去重。5、通过SPark-Streaming读取RediS数据库中广告点击黑名单，过滤黑名单 用户点击数据。