《大数据开发工程师求职简历模板_001.docx》由会员分享,可在线阅读,更多相关《大数据开发工程师求职简历模板_001.docx(3页珍藏版)》请在第一文库网上搜索。
1、基本信息姓 名:XXX性 别:X工作经验:X年 联系电话:XXXXXX 电子邮件:XXXXXX毕业院校:XXXX大学专 业:数学与应用数学英语水平:CET-6获奖证书:全国数学建模竞赛二等奖工作性质:全职目标地点:北京目标职能:大数据开发工程师目标薪资:面议工作经历单位名称:XXXXX科技有限公司 职位名称:大数据开发工程师 工作时间:2016.8-2019.2专业技能1 .熟练掌握Java. Scala编程语言,拥有良好的编码习惯,理解面向对象编程和函数式编程思想2 .熟练掌握Hadoop技术,HDFSx MapReducex YARN的工作机制,有调优经验,能搭建Hadoop集群3 .熟练
2、掌握Hive数仓建设,熟练使用HQL进行企业级开发,有Hive调优经验4 .熟悉分布式应用程序协调服务Zookeeper,理解Zookeeper的Paxos选举机制5 .熟练使用Flume进行日志采集,会自定义Flume拦截器,了解Flume组成架构,6 .熟悉使用Kafka实现消费数据,理解高吞吐量机制,掌握Kafka高彳氐级API的编写7 .熟练使用SparkCorex SparkSQLx Spark Streaming编程,理解Spark内核,任务提交,执行流程,Shuffle 机制、熟悉SPark调优8 .熟练使用Sqoop在HDFS和Mysql数据库之间传递数据9 .能够使用EIas
3、ticSearch进行海量数据存储和检索10 .熟练使用Mysql ,能够使用SQL对辘进行增删改查操作11 .熟练使用Git、MaVen等项目版本控制和自动化构建工具12 .熟练使用Hbase ,熟练使用其JavaAPI进行程序开发,熟悉HbaSe的结构原理区和RoWkey设计13 .熟悉Azkaban ,能够使用Azkaban进行任务调度14 .熟悉推荐系统,对机器学习有浓厚兴趣,了解常用算法项目经验项目名称:快看影视大全推荐系统软件架构:Nginx +Flume + HDFS + Spark + Hive + Mysql +Sqoop + Azkaban +Hadoop开发环境:IDEA
4、+JDK1.8+Git+MAVEN+Scala项目描述:本电影推荐系统是为了提高用户体验,从APP海量的电影中推荐出用户感兴趣的电影。系统包含了离线推 荐与实时推荐体系,综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。提供了从前端应用、 后台服务、算法设计实现、平台部署等多方位的闭环的业务实现。责任描述:L 参与项目推荐算法的确定和框架搭建2、负责模型参数的评估和选取3、负责离线统计推荐指标的分析4、负责实时推荐的余弦相似度和对数增减因子的确定技术要点:L使用Flume完成日志数据的采集工作,解决Flume落盘HDFS产生大量小文件问题2、基于SparkSQL ,分析了离线统计推荐
5、指标:历史热门推荐,近期热门推荐,优质电影推荐3、用ALS算法求解模型,构建UserProducts矩阵,预测出电影评分4、对模型的参数(QnI065)7、基于SprakStreaming + Kafka + Redis ,结合余弦相似度和调整因子,计算推荐优先级项目经验项目名称:快看影视数仓业务分析系统软件架构:Nginx +Flume + HDFS + Spark + Hive + Mysql +Sqoop + Azkaban +Hadoop开发环境:IDEA+JDKL8+Git+MAVEN+Scala项目描述:数据仓库是根据随着时间发生变化的数据集成到面向主题的平台,通过该平台可以提取出
6、对企业管理层决 策提供重要依据的数据,利于企业长远发展。本项目收集了用户基本信息、设备信息、用户交易、订单等数据, 经过数仓逐层分析根据需求分析得到不同的统计数据。主要分为日志采集、数仓搭建、离线统计、数据展示四 大模块。责任描述:L负责用户产品日志的收集2、参入数仓架构设计,负责项目数据仓库的建设3、负责离线数据分析,制作符合业务需求的报表。技术要点:1、设计Flume双层结构,自定义Flume拦截器,实现日志分流2、基于Hive数,参与数据仓库搭建,设计日志表的分层3、Dwd数据明细层,选择Parquet列式存储格式以及Sn叩Py数据的压缩方式4、基于不同的业务需要和表数据结构,选择不同数
7、据同步策略5、基于SparkCore和SparkSQL设计用户行为宽表,拉链表6、建基于Sqoop ,将Mysql数据库的业务数据导入HDFS7、以用户设备为标准,统计每日、每周、每月的活跃用户8、统计近一个月新增的用户留存率,为运营提供决策参考。9、统计每日收入、每日GMV成交额、单日订单数量10、基于AZkaban ,划分脚本任务,压缩上传到AZkaban ,执行任务项目经验项目名称:离线业务日志采集系统软件架构:Flume+Kafka+Zookeeper+Canal+ Redis开发环境:IDEA+JDK1.8+Git+MAVEN+Scala项目描述:使用Flume、Sqoopx Kaf
8、ka. Canak ZOOkeePer搭建离线日志采集模块、实时日志采集模块、离线业 务采集模块、实时业务采集模块,实现对商城日志的离线采集和实时传输。责任描述:L 参与项目需求分析讨论、项目架构设计。2、离线日志采集模块采用FlumeKafka架构,实现了负载均衡和容灾。3、安装Canal对Mysql数据库进行实时监控,将数据发送到Kafka中。技术要点:L 在日志服务器上搭建Flume集群专门负责采集日志,完成日志采集模块。2、实时采集部分是将采集好的日志发送到指定Kafka Topic中,由HDFS充当消费者消费Kafka数据。3、离线阶段在Flume收集完成日志后直接发送到HDFS中,通过使用不同的Flume配置文件完成离线和实 时模块的切换。4、对Flume和Kafka集群性能进行调优,保证数据的安全性,提升集群的峰值处理能力。5、Hadoop高可用集群的搭建消除Namenode和ReourceManage的单点故障。个人评价热爱生活:工作,看书,烹饪,3奇行。