求职简历模板大数据开发工程师3年.docx

《求职简历模板大数据开发工程师3年.docx》由会员分享，可在线阅读，更多相关《求职简历模板大数据开发工程师3年.docx（4页珍藏版）》请在第一文库网上搜索。

1、大数据开发工程师个人简历个人概况姓 名：XX籍 贯：XX性 别：男工作年限：4年年 龄：XX学 历：本科联系方式：xxxxxxxE - mail: XXXXXXX求职意向目标职能：大数据开发工程师工作性质：全职目标地点：北京到岗时间：即时工作经验工作单位：XXXXX有限公司工作日期：2016.8 - 2019.2工作职位：大数据开发工程师工作日期：2015.3 - 2016.8工作职位：JaVa开发工程师专业技能L熟练使用SparkCore RDD算子处理改据，熟悉Spark任务提交流程.2、熟练使用SparkSqI查询数据，自定义UDF ,熟练使用Spark Streaming处理实时数据，

2、熟悉 DataSetx DataFreamx Rdd 三者之间的转化。3、熟练使用M叩reduce处理复杂业务，熟悉HDFS的读写流程，熟悉M叩reduce的shuffle过程 及优化，熟悉shuffle过程的优化手段和Hadoop集群搭建。4、熟悉Z。OkeePer的选举机制和监听机制。5、熟悉Hive架构，使用窗口函数和自定义UDF处理数据，熟悉Hive优化策略。6、熟练使用Flume工具完成日志的采集过滤和分类，使用Ganglia监控工具.7、熟练使用Kafka高低阶API消费数据，熟悉KafkaOffsetManager监控工具。8、熟练使用Elasticsearch创建索引，利用AP

3、l批量保存数据，使用Kibina查询es索引。9、熟悉MySqI , Mongodb , RediS数据库的使用。10、熟练使用Sqoop把Hive表数据从HDFS导入到Mysql数据库。IL熟练掌握常用的Linux命令，使用Shell命令编写Shell脚本,Azkaban完成定时调度。12、熟练用 IDEA, Eclipse, Gitlab , SVN , Maven , Xshell 开发工具。项目经验项目一：西瓜籽APP实时分析开发时间：2018.05-2019.02开发环境：IDEA + Maven + GitLab + SQLyog + Xshell + CIouderManager

4、系统： Spark Streaming + Hive + Hadoop+ Kafka+ Redis + Easticsearch + Mysql + Scala项目描述：西瓜籽是网智天元旗下集影视资讯、电影推荐、粉圈互动、电影评分、明星同款商城等多功能 为一体的app ,旨在发现粉丝用户的观影行为,引导粉丝消费；利用大数据平台对用户行为进 行统计分析，发展粉丝经济。责任描述：L 参与项目需求讨论与架构分析。2、实时统计当前活跃用户。3、实时统计当前新增用户。4、实时统计当前签到用户。5、实时统计当前用户下单量。6、实时统计当前商品交易总额。7、实时统计电影综合评分。技术描述：1、使用双层FIU

5、me架构收集用户日志，分为浏览行为、点击行为、评分行为.2、使用Kafka实时读取Flume收集的日志信息，存入各个topic分区中。3、使用Canal工具监控Mysql中订单表，影评表的变化，将增量数据推送到Kafka中。4、使用Spark Streaming消费Kafka队列的数据，手动维护offset.5、使用 Spark RDD 的 map、groupByKeyx reduceByKeyx foreachRDD, foreachPartition 等算子处理消费的数据，分别对订单和影评中的敏感数据进行脱敏、过滤和屏蔽。6、使用Redis的Set集合对用户的DAU进行缓存和去重，从Red

6、is中取出缓存数据,利用 broadcast广播变量分发到各个executor.7、使用Spark Streaming把订单、影评等数据保存到Elasticsearch ,使用IK分词器分词， 建立倒排索引，方便模糊查询。8、使用ES的API编写查询接口，可以实时查询订单数与收入额、评分集等指标。9、对Spark性能进行优化，加入cache缓存，加入广播变量.项目二：西瓜籽APP数据仓库+离线分析开发时间：2017.06-2018.05开发环境：IDEA + Maven + GitLab + SQLyog + Xshell + CIouderManager系统： Spark Streaming

7、 + Hive + Hadoop+ Kafka + zookeeper+ Redis + Easticsearch + Kibina + Mysql + Scala + JDK1.8项目描述：采集西瓜籽App的启动日志，用户行为日志，存储到HDFS ,通过数据分层，统计活跃用户， 用户留存，签到情况，活动参与，关注明星，影评撰写，社区跟帖等指标。责任描述：1、参与项目需求讨论与架构分析。2、统计用户的日活、周活、月活指标。3、统计用户留存率变化指标。4、统计消费用户转化率指标。5、统计影视资讯的评论，点赞，转发量。6、统计星守护用户粉丝量。7、统计粉圈顶贴活跃用户ToPl0。技术描述：1、使用

8、双层Flume完成日志采集，source配置tailDir方式监控日志文件，实现断点续传和 多目录监控，以file的形式缓冲在ChanneI,保障数据传输的安全，SinkgroUP形式实现 Flume的负载均衡和容灾备份。2、使用Hive作为数据仓库存储离线数据，使用load方式将HDFS中的数据导入Hive的外 部表中，按日期进行分区，数据存在。ds（原始数据层）。3、对。ds层数据进行空值判断、脏数据过滤（SnaPPy格式压缩QrC列式存储,存储在dwd（数 据明细层）。4、利用HQL对dwd中的数据进行统计，建立用户拉链表，订单拉链表，以及用户行为宽表 等，存储在dws（数据服务层）。5

9、、利用HQL针对拉链表和宽表中的数据统计，计算用户的留存和日活、消费转化率等指标， 存储在ads（应用层）。6、使用Sqoop将Mysql中的事实表和维度表数据同步导入hive表中。7、优化HiVe查询，解决数据倾斜问题。8、使用azkaban上传jar包和脚本文件，配置shell脚本之间的依赖关系，定时执行任项目三：网智天元大数据企业服务平台开发时间：2016.05-2017.03开发环境：IDEA + Maven + GitLab + SQLyog + Xshell + Tomcat + Kibana + JDK1.8系统： Spring+ SpringMVC+ Redis+ MongoD

10、B + Kafka + Spark Streaming + ELasticsearch项目描述：该项目是通过数据集市和网络爬虫两方面结合，搭建企业信息直询平台，为银行提供第三方数 据查询服务接口，为公司金信鸽风控项目提供企业数据。责任描述：L 参与项目需求讨论与架构分析。2、参与平台框架搭建。3、负责各个数据合作商的接口测试与对接.4、对网络爬虫数据进行过滤、清洗。5、与后端进行联调。技术描述：1、设置查询条件,Httpclient发送GET请求访问第三方数据接口，返回json数据，将json 数据存入mongodb数据库。2、对mongodb数据库中的数据推入Kafka ,利用Kafka拦截

11、器判断空值，把直询条件同步 到,同步到Redise3、网络智能机器人配置网站采集模板，定向爬取启信宝,天眼查公示的数据，网络爬取企业 年报，推入Kafka中。4、使用Spark streaming ,消费Kafka中的数据,形成RDD ,将RDD进行转化，过滤空 值，groupBy分组等操作，最后推入EIasticSearch中.5、利用SpringMVC. Spring ,利用Elasticsearch的API,将各个索引封装成接口服务。项目四：假日旅游监测系统（后台开发）开发时间：2015.07-2016.03开发环境：IDEA + JDK1.7+ Tomcat7 + Mysql+ SQL

12、yog + Maven + SVN系统架构：Spring + SpringMVC + Mybaits + Mysql + Quartz + Ajax + jQuery +Shiro + JSP + Freemarker + Bootstrap项目描述：该项目是针对国家法定节假日，统计北京各个区县的景区、酒店、旅行社以及民航铁路高速公 路单位的日客流量和营业收入，对基层用户进行短信提醒，上报、催报、补报数据，实时监控 数据变化，图表展示，生成报告。责任描述：1、负责景区、酒店模块开发。2、负责短信提醒和数据上报模块开发。3、负责项目bug修改与线上部署。4、参与项目上线用户培训.技术描述：L 采用 Spring, SpringMVC, MybatiS 作为底层架构。2、使用ifreechar展示各个区县今年与去年的客流量与收入占比。3、使用Shiro实现后台管理模块的导航栏菜单的权限化。4、使用QUartZ定时发短息通知基层用户上报数据。5、搭建Freemark定制报告模板，提供报告下载功能。