ID:277685

知曰 身份已认证

大数据开发工程师

  • 公司信息:
  • 奇安信
  • 工作经验:
  • 6年
  • 兼职日薪:
  • 600元/8小时
  • 兼职时间:
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 北京
  • 海淀

技术能力

1.熟练使用Python和anaconda,可使用其进行数据爬取,数据分析,数据可视化以及自动化脚本的开发。
2.熟练使用pyspark,scala spark,可进行相关需求任务的开发部署以及测试。
3.熟悉java,可进行Hive自定义UDF函数的开发和相关MapReduce需求的开发。
4.熟练使用Linux常用命令,能够熟练使用shell语言进行自动化脚本任务的开发工作。
5.熟练使用各种ETL开发和调度工具,如Informatica,kettle,oozie,controm_9等。
6.熟练使用常见的Hadoop大数据组件,如yarn,mapreduce,hdfs,hive,hue,spark,sqoop,oozie,zookeeper,elasticsearch,neo4j, hbase等,了解kafka,flume等组件。
7.熟练使用华为FusionInsight Manager大数据管理平台和开源的CDH的Cloudera Manager集群管理平台,可对集群服务进行有效的运维和管理,保证各个服务的正常运行。
8.熟练使用各种关系型数据库,如 MySQL,oracle,PostgreSQL,db2等。
9.熟悉传统的TearData数据仓库和基于大数据平台的新型数据仓库的搭建,可根据业务需求进行相关ETL任务的开发、调优、以及部署调度等工作。
10.了解机器学习常用算法,如knn,朴素贝叶斯,线性回归,决策树,随机森林,逻辑回归等,能独立使用ETL进行模型所需特征宽表的加工并使用Python进行相关机器学习模型的开发与训练。

项目经验

项目名称:资本市场主体信用风险预警平台
项目简介:资本市场预警模型通过大数据和机器学习等技术对资本市场9000多家企业进行智能风险监控,风险评分及风险预测,形成企业健康画像、健康指数排名以及健康指数报告,辅助业务人员进行分析决策。
工作内容:
1.担任数据开发组长,负责该项目底层的数据模型设计和技术架构、需求梳理以及任务分配工作。
2.按业务需求对资本市场主体企业所依赖的数据进行分析,评估目前数据是否满足业务需求,反馈给公司相关人员数据采购需求和列表。
3.加工处理资本市场预警机器学习模型所需的特征宽表,包含资本市场主体企业的基本信息,股票信息,债券信息,财务信息,评级信息等。
4.对接公司的机器学习算法团队,依据特征宽表使用Python机器学习模型进行预测,获取预测结果,生成健康指数。
5.资本市场主体企业标签体系的设计与加工,涵盖工商、司法、财务、证券、负面舆情等,并加工处理对应标签的明细信息。
6.负责该项目规则体系的设计,并依据标签进行加工计算,生成相应的预警信号。
7.使用公司自定义调度工具进行sqoop,hivesql,以及shell任务的调度。
使用技术:
Cloudera Manager集群管理平台,hive,hue,yarn,hdfs,sqoop,MySQL,shell,python,Elasticsearch等。

案例展示

  • 一键自动播放网课视频

    一键自动播放网课视频

    本项目实现了使用python自动播放网课的功能 使用技术:python, selenium 编程时常:1天 解决难点:验证码以及自动播放 结果:一键自动登录播放所有未完成的课程,中途不掉线,无需人为关注。

  • python机器学习预测企业违约率

    python机器学习预测企业违约率

    使用python sklearn进行企业违约预测 使用算法有:逻辑回归,决策树,随机森林,GBDT等 最终生成ROC曲线和混淆矩阵。

查看案例列表(含更多 0 个案例)

评价列表

胡森林    2022-08-11 08:50    5星

不错,认真负责,圆满的完成了任务。

信用行为

  • 接单
    1
  • 评价
    1
  • 收藏
    0
  • 五星率
    100%
  • 退款
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服