ID：230677
十日倚天
ETL工程师
- 公司信息：
- 文思海辉
- 工作经验：
- 2年
- 兼职日薪：
- 700元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 北京
- 丰台
技术能力
1. 对Python极为熟练，熟悉Python的高级语法
2. 熟练使用Scripy进行数据抓取
3. 使用Tornado框架进行服务器搭建（后端）
4. 对shell极为熟练，编写过大量shell脚本
5. 使用sparksql进行大数据分析
6. 熟悉Hadoop、spark、flink大数据技术
6. 使用elasticsearch进行数据分析
项目经验
项目1. 知乎爬虫
项目时间：2019.06
项目角色：爬虫工程师·开发
项目概述：本项目通过Scrapy框架对知乎上的问答进行抓取，将数据进行清洗后存放在mongodb数据库中，供前台页面调用分析。
本人职责：
1. 负责爬虫代码的编写以及数据的清洗入库
2. 与网站的反爬虫进行对抗。
项目2. 客户管理数据集市
项目时间：2019.11 - 至今
项目角色：ETL工程师·数据处理
项目概述：本项目通过对用户画像(资产、消费行为、用户特征)的分析，为用户进行评级、给用户打标签，同时监测用户的欺诈行为。
本人职责：
1. 在项目中通过Python脚本进行数据接入
2. 将数据写入hdfs分布式存储后使用ETL工具进行加工处理
3. 使用Python脚本与数据交换中心进行对接，下发xml文件。
相似人才推荐
-
500元/天高级web开发工程师成都易派氏外贸有限公司概要：三年开发经验，专注于web全栈开发，尤其擅长django框架，和WordPress框架。精通使用Py -
800元/天研发工程师联发科概要：1、具备微服务设计和架构能力，熟练掌握SpringBoot和SpringCloud框架； 2、精通 -
1000元/天技术专家恒生电子股份有限公司概要：后端框架：Django, JStorm、FLink、Spark、Spring Cloud 前端框架
-
500元/天Linux C语言开发工程师山东融为信息科技有限公司概要：1.熟练掌握C语言开发 2.熟练掌握Linux和Windows下C语言程序开发 3.熟练掌握嵌入
-
900元/天软件开发上海航空无线电子研究所概要：在公司单独负责管理一个项目，并作为该项目的核心开发人员。 在管理方面，负责编制项目的管理计划，分解
-
500元/天技术专家美团概要：12年java开发经验，7年以上大型系统架构设计经验，以及5年以上的团队管理经验，具有丰富的分布式、 -
500元/天软件开发工程师亨通集团概要：1、熟练掌握C#编程语言，熟练掌握EntityFramwork，SugarSql等ORM框架，精通M
-
800元/天高级平台开发工程师电讯盈科概要：1、本人拥有扎实的Java基础，熟悉应用程序调优、JVM调优手段，有高并发下系统调优经验者优先，良好
