求职简历模板大数据开发工程师3年.docx

《求职简历模板大数据开发工程师3年.docx》由会员分享，可在线阅读，更多相关《求职简历模板大数据开发工程师3年.docx（4页珍藏版）》请在第一文库网上搜索。

1、大数据开发工程师个人简历个人概况姓名：XX籍贯：XX性别：男工作年限：4年年龄：XX学历：本科联系方式：xxxxxxxE-mai1:XXXXXXX求职意向目标职能：大数据开发工程师工作性质：全职目标地点：北京到岗时间：即时工作经验工作单位：XXXXX有限公司工作日期：2016.8-2019.2工作职位：大数据开发工程师工作日期：2015.3-2016.8工作职位：JaVa开发工程师专业技能1熟练使用SparkCoreRDD算子处理改据，熟悉Spark任务提交流程.2、熟练使用SparkSqI查询数据，自定义UDF,熟练使用SparkStreaming处理实时数据，熟悉DataSetxDataF

2、reamxRdd三者之间的转化。3、熟练使用M叩reduce处理复杂业务，熟悉HDFS的读写流程，熟悉M叩reduce的shuff1e过程及优化，熟悉shuff1e过程的优化手段和Hadoop集群搭建。4、熟悉Z。OkeePer的选举机制和监听机制。5、熟悉Hive架构，使用窗口函数和自定义UDF处理数据，熟悉Hive优化策略。6、熟练使用F1ume工具完成日志的采集过滤和分类，使用Gang1ia监控工具.7、熟练使用Kafka高低阶API消费数据，熟悉KafkaOffsetManager监控工具。8、熟练使用E1asticsearch创建索引，利用AP1批量保存数据，使用Kibina查询es

3、索引。9、熟悉MySqI,Mongodb,RediS数据库的使用。10、熟练使用Sqoop把Hive表数据从HDFS导入到Mysq1数据库。I1熟练掌握常用的1inux命令，使用She11命令编写She11脚本,Azkaban完成定时调度。12、熟练用IDEA,Ec1ipse,Git1ab,SVN,Maven,Xshe11开发工具。项目经验项目一：西瓜籽APP实时分析开发时间：2018.05-2019.02开发环境：IDEA+Maven+Git1ab+SQ1yog+Xshe11+CIouderManager系统：SparkStreaming+Hive+Hadoop+Kafka+Redis+Ea

4、sticsearch+Mysq1+Sca1a项目描述：西瓜籽是网智天元旗下集影视资讯、电影推荐、粉圈互动、电影评分、明星同款商城等多功能为一体的app,旨在发现粉丝用户的观影行为,引导粉丝消费；利用大数据平台对用户行为进行统计分析，发展粉丝经济。责任描述：1参与项目需求讨论与架构分析。2、实时统计当前活跃用户。3、实时统计当前新增用户。4、实时统计当前签到用户。5、实时统计当前用户下单量。6、实时统计当前商品交易总额。7、实时统计电影综合评分。技术描述：1、使用双层FIUme架构收集用户日志，分为浏览行为、点击行为、评分行为.2、使用Kafka实时读取F1ume收集的日志信息，存入各个topi

5、c分区中。3、使用Cana1工具监控Mysq1中订单表，影评表的变化，将增量数据推送到Kafka中。4、使用SparkStreaming消费Kafka队列的数据，手动维护offset.5、使用SparkRDD的map、groupByKeyxreduceByKeyxforeachRDD,foreachPartition等算子处理消费的数据，分别对订单和影评中的敏感数据进行脱敏、过滤和屏蔽。6、使用Redis的Set集合对用户的DAU进行缓存和去重，从Redis中取出缓存数据,利用broadcast广播变量分发到各个executor.7、使用SparkStreaming把订单、影评等数据保存到E1

6、asticsearch,使用IK分词器分词，建立倒排索引，方便模糊查询。8、使用ES的API编写查询接口，可以实时查询订单数与收入额、评分集等指标。9、对Spark性能进行优化，加入cache缓存，加入广播变量.项目二：西瓜籽APP数据仓库+离线分析开发时间：2017.06-2018.05开发环境：IDEA+Maven+Git1ab+SQ1yog+Xshe11+CIouderManager系统：SparkStreaming+Hive+Hadoop+Kafka+zookeeper+Redis+Easticsearch+Kibina+Mysq1+Sca1a+JDK1.8项目描述：采集西瓜籽App的

7、启动日志，用户行为日志，存储到HDFS,通过数据分层，统计活跃用户，用户留存，签到情况，活动参与，关注明星，影评撰写，社区跟帖等指标。责任描述：1、参与项目需求讨论与架构分析。2、统计用户的日活、周活、月活指标。3、统计用户留存率变化指标。4、统计消费用户转化率指标。5、统计影视资讯的评论，点赞，转发量。6、统计星守护用户粉丝量。7、统计粉圈顶贴活跃用户ToP10。技术描述：1、使用双层F1ume完成日志采集，source配置tai1Dir方式监控日志文件，实现断点续传和多目录监控，以fi1e的形式缓冲在ChanneI,保障数据传输的安全，SinkgroUP形式实现F1ume的负载均衡和容灾备

8、份。2、使用Hive作为数据仓库存储离线数据，使用1oad方式将HDFS中的数据导入Hive的外部表中，按日期进行分区，数据存在。ds（原始数据层）。3、对。ds层数据进行空值判断、脏数据过滤（SnaPPy格式压缩QrC列式存储,存储在dwd（数据明细层）。4、利用HQ1对dwd中的数据进行统计，建立用户拉链表，订单拉链表，以及用户行为宽表等，存储在dws（数据服务层）。5、利用HQ1针对拉链表和宽表中的数据统计，计算用户的留存和日活、消费转化率等指标，存储在ads（应用层）。6、使用Sqoop将Mysq1中的事实表和维度表数据同步导入hive表中。7、优化HiVe查询，解决数据倾斜问题。8、

9、使用azkaban上传jar包和脚本文件，配置she11脚本之间的依赖关系，定时执行任项目三：网智天元大数据企业服务平台开发时间：2016.05-2017.03开发环境：IDEA+Maven+Git1ab+SQ1yog+Xshe11+Tomcat+Kibana+JDK1.8系统：Spring+SpringMVC+Redis+MongoDB+Kafka+SparkStreaming+E1asticsearch项目描述：该项目是通过数据集市和网络爬虫两方面结合，搭建企业信息直询平台，为银行提供第三方数据查询服务接口，为公司金信鸽风控项目提供企业数据。责任描述：1参与项目需求讨论与架构分析。2、参与

10、平台框架搭建。3、负责各个数据合作商的接口测试与对接.4、对网络爬虫数据进行过滤、清洗。5、与后端进行联调。技术描述：1、设置查询条件,Httpc1ient发送GET请求访问第三方数据接口，返回json数据，将json数据存入mongodb数据库。2、对mongodb数据库中的数据推入Kafka,利用Kafka拦截器判断空值，把直询条件同步到,同步到Redise3、网络智能机器人配置网站采集模板，定向爬取启信宝,天眼查公示的数据，网络爬取企业年报，推入Kafka中。4、使用Sparkstreaming,消费Kafka中的数据,形成RDD,将RDD进行转化，过滤空值，groupBy分组等操作，最

11、后推入EIasticSearch中.5、利用SpringMVC.Spring,利用E1asticsearch的API,将各个索引封装成接口服务。项目四：假日旅游监测系统（后台开发）开发时间：2015.07-2016.03开发环境：IDEA+JDK1.7+Tomcat7+Mysq1+SQ1yog+Maven+SVN系统架构：Spring+SpringMVC+Mybaits+Mysq1+Quartz+Ajax+jQuery+Shiro+JSP+Freemarker+Bootstrap项目描述：该项目是针对国家法定节假日，统计北京各个区县的景区、酒店、旅行社以及民航铁路高速公路单位的日客流量和营业收入，对基层用户进行短信提醒，上报、催报、补报数据，实时监控数据变化，图表展示，生成报告。责任描述：1、负责景区、酒店模块开发。2、负责短信提醒和数据上报模块开发。3、负责项目bug修改与线上部署。4、参与项目上线用户培训.技术描述：1采用Spring,SpringMVC,MybatiS作为底层架构。2、使用ifreechar展示各个区县今年与去年的客流量与收入占比。3、使用Shiro实现后台管理模块的导航栏菜单的权限化。4、使用QUartZ定时发短息通知基层用户上报数据。5、搭建Freemark定制报告模板，提供报告下载功能。