李暮光

大数据开发工程师
景星网络(北京)有限公司 · 3年经验
李暮光
日薪: ¥500/8h
地点: 北京 海淀
时间: 下班后周六周日可工作日远程可工作日驻场(离职原因)
ID:168283 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Spark Elasticsearch Python Kafka Java Hadoop HBase Hive ZooKeeper 机器学习 yarn
负责过Hadoop集群的搭建、Elasticsearch集群的搭建
编程语言:Java+Scala+Python+Shell
对Spark较为熟练,有实时数据处理经验,有Spark-Streaming、Spark调优的经验
对MR的原理熟知,阅读过源码,可以进行二次开发
以下大数据组件有实际使用经验:Oozie Hive HBase Flume Elasticsearch Logstash Kibana HDFS Zookeeper Kafka Yarn
有数据的清洗、转换、分析经验
有机器学习算法使用经验,做过实际的个性化推荐系统项目
有python爬虫的经验,可以负责数据的爬取,ETL处理整个流程

1.景星数据处理平台的重建和迁移
项目描述:景星公司原有的数据处理平台是用Python完成的,随着公司数据量、处理量和计算量的提升,原有的系统已经不堪重负。需要对其进行升级,使用大数据平台完成整个业务的处理过程。

2.珍我商城公众号物品个性化推荐项目
项目描述:对登陆珍我商城的用户进行用户画像,使用基于物品的协同过滤算法,精准化的对用户进行商城内物品推荐与展览,挖掘物品的长尾性,使流量的作用最大化。使用个性化的推荐系统后,实现了CVR提升183.24%,CTR提升58.39%,完成了项目的指标。

3.沈阳市交通路网可视化ETL项目 第一期
项目描述:交通路网数据可视化ETL项目主要为了方便路网可视化部分提取所需要的数据,最初的数据是从各个厂商的摄像头传入的,由合作公司把每一天的数据生成orc文件,然后进行处理生成路网可视化所需要的数据,对城市的交通情况做一个预估。

4.小理简报App 业务数据支持系统(阶段1)
项目描述:本项目主要是为了给小理简报在全网范围内搜索资讯类文章,利用SparkStreaming实时获取最新的文章,为小理简报的运营部门提供海量且实时的数据支持,为公司提供丰富的数据储备。
李暮光 ID:168283 复制

李暮光

大数据开发工程师 · 3年经验 · 景星网络(北京)有限公司
城市北京 海淀 日薪500元/8h 时间 下班后周六周日可工作日远程可工作日驻场(离职原因)
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Spark Elasticsearch Python Kafka Java Hadoop HBase Hive ZooKeeper 机器学习 yarn
负责过Hadoop集群的搭建、Elasticsearch集群的搭建
编程语言:Java+Scala+Python+Shell
对Spark较为熟练,有实时数据处理经验,有Spark-Streaming、Spark调优的经验
对MR的原理熟知,阅读过源码,可以进行二次开发
以下大数据组件有实际使用经验:Oozie Hive HBase Flume Elasticsearch Logstash Kibana HDFS Zookeeper Kafka Yarn
有数据的清洗、转换、分析经验
有机器学习算法使用经验,做过实际的个性化推荐系统项目
有python爬虫的经验,可以负责数据的爬取,ETL处理整个流程

项目经验

1.景星数据处理平台的重建和迁移
项目描述:景星公司原有的数据处理平台是用Python完成的,随着公司数据量、处理量和计算量的提升,原有的系统已经不堪重负。需要对其进行升级,使用大数据平台完成整个业务的处理过程。

2.珍我商城公众号物品个性化推荐项目
项目描述:对登陆珍我商城的用户进行用户画像,使用基于物品的协同过滤算法,精准化的对用户进行商城内物品推荐与展览,挖掘物品的长尾性,使流量的作用最大化。使用个性化的推荐系统后,实现了CVR提升183.24%,CTR提升58.39%,完成了项目的指标。

3.沈阳市交通路网可视化ETL项目 第一期
项目描述:交通路网数据可视化ETL项目主要为了方便路网可视化部分提取所需要的数据,最初的数据是从各个厂商的摄像头传入的,由合作公司把每一天的数据生成orc文件,然后进行处理生成路网可视化所需要的数据,对城市的交通情况做一个预估。

4.小理简报App 业务数据支持系统(阶段1)
项目描述:本项目主要是为了给小理简报在全网范围内搜索资讯类文章,利用SparkStreaming实时获取最新的文章,为小理简报的运营部门提供海量且实时的数据支持,为公司提供丰富的数据储备。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏