1.熟练使用Python和anaconda，可使用其进行数据爬取，数据分析，数据可视化以及自动化脚本的开发。
2.熟练使用pyspark，scala spark，可进行相关需求任务的开发部署以及测试。
3.熟悉java，可进行Hive自定义UDF函数的开发和相关MapReduce需求的开发。
4.熟练使用Linux常用命令，能够熟练使用shell语言进行自动化脚本任务的开发工作。
5.熟练使用各种ETL开发和调度工具，如Informatica，kettle，oozie，controm_9等。
6.熟练使用常见的Hadoop大数据组件，如yarn，mapreduce，hdfs，hive，hue，spark，sqoop，oozie，zookeeper，elasticsearch，neo4j, hbase等，了解kafka，flume等组件。
7.熟练使用华为FusionInsight Manager大数据管理平台和开源的CDH的Cloudera Manager集群管理平台，可对集群服务进行有效的运维和管理，保证各个服务的正常运行。
8.熟练使用各种关系型数据库，如 MySQL，oracle，PostgreSQL，db2等。
9.熟悉传统的TearData数据仓库和基于大数据平台的新型数据仓库的搭建，可根据业务需求进行相关ETL任务的开发、调优、以及部署调度等工作。
10.了解机器学习常用算法，如knn，朴素贝叶斯，线性回归，决策树，随机森林，逻辑回归等，能独立使用ETL进行模型所需特征宽表的加工并使用Python进行相关机器学习模型的开发与训练。

项目名称：资本市场主体信用风险预警平台
项目简介：资本市场预警模型通过大数据和机器学习等技术对资本市场9000多家企业进行智能风险监控，风险评分及风险预测，形成企业健康画像、健康指数排名以及健康指数报告，辅助业务人员进行分析决策。
工作内容：
1.担任数据开发组长，负责该项目底层的数据模型设计和技术架构、需求梳理以及任务分配工作。
2.按业务需求对资本市场主体企业所依赖的数据进行分析，评估目前数据是否满足业务需求，反馈给公司相关人员数据采购需求和列表。
3.加工处理资本市场预警机器学习模型所需的特征宽表，包含资本市场主体企业的基本信息，股票信息，债券信息，财务信息，评级信息等。
4.对接公司的机器学习算法团队，依据特征宽表使用Python机器学习模型进行预测，获取预测结果，生成健康指数。
5.资本市场主体企业标签体系的设计与加工，涵盖工商、司法、财务、证券、负面舆情等，并加工处理对应标签的明细信息。
6.负责该项目规则体系的设计，并依据标签进行加工计算，生成相应的预警信号。
7.使用公司自定义调度工具进行sqoop，hivesql，以及shell任务的调度。
使用技术：
Cloudera Manager集群管理平台，hive，hue，yarn，hdfs，sqoop，MySQL，shell，python，Elasticsearch等。