掌握技能如下：
1. windows环境搭建python环境。 涉及：（pycharm、scala、hadoop，spark，pyspark，MySQL，jdk...）
2. 熟悉使用python：oop、socket、pyechars，设计模式，链式调用。
3. 熟悉使用并掌握Hadoop生态，CDH，MySQL，Tidb，Java，Shell， Scala，Python，Gremlin。
4. 熟悉CDH集群调优，解决数据倾斜，完成pb级的数据治理...等工作。
5. 熟悉Microsoft Excel VBA，Python,数据可视化分析，有自动化报表开发经验2年。
6. 熟悉使用kettle，Hive、MS-SQL，MySQL，Oracel，SparkSQL。
7. 良好的表达与沟通能力、积极主动，对工作尽职尽责。
本人是程序员客栈的Leo，一名【python数据处理工程师】
个人信息如下：
我毕业于【上海大学】，担任过【北京中经惠众科技有限公司】的【大数据etl工程师】，担任过【上海贝格计算机数据服务有限公司】的【项目经理/数据开发工程师】；

负责过【项目1宏观大数据分析】，【项目2国泰君安证资讯】，【项目3新华社金融数据应用平台】，【项目4安迅思分析平台】，【项目5ERP项目运维】，【项目6德粨、捷爱仕、环球excel自动化报表开发】；

如果我能帮上您的忙，请点击“通过简历”与我联系我！

2020-10-20至2022-11-30 [北京中经...] ETL工程师

1.完成大连市大数据分析平台的上线及运营。
2.完成辽宁省大数据分析平台的平台运行及相关工作。
3.完成黑龙江省大数据分析平台运行及相关工作。
4.相互配合完成重庆市大数据分析平台上线及运营。
5.保质量完成领导部署的他项工作。

2016-10-11至2020-09-30 【上海第一财经旗下大数据公司】 研发项目经理/数据开发

根据项目需要开发人员承担管理工作，所以本人在项目中既是管理角色也是数据开发角色， 具体工作内容如下：
1）完成项目 启动、计划、执行、收尾、结项、运维等工作。
2）完成数据开发工作：开发Kettle包、上线、日常运维。
3）完成项目运维工作：shell脚本、存储过程、SQL语句。
4）完成MS-SQL MySQL Oracle SQL优化。
5）深入理解CM，MR，hdfs，Hive，Hbase，Spark 工作原理。理解分布式 云计算。
6）熟悉使用数仓 Hive 建模、擅长对大文件进行日志分析。
7）熟悉使用HBase建模。用MR进行多数据写入。