ID:278003

小菜菜51118 身份已认证

数据开发工程师

  • 公司信息:
  • 怡亚通股份有限公司
  • 工作经验:
  • 6年
  • 兼职日薪:
  • 600元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 深圳
  • 福田

技术能力

熟悉大数据和数据库编程,能独立搭建数据仓库平台,熟练使用Python和shell编程,熟练掌握爬虫开发,具备0-1问题解决能力。熟练使用Hive SQL(HQL), SQL,已通过甲骨文数据库管理证书OCA,熟悉各种主流的BI报表工具

项目经验

一、项目名称: 短信邮件告警和群消息机器人系统(Python,SQL)(2019/01-2019/03)
项目描述: 精细化运营系统的DB配置,任务调度,数据迁移和投放需要实时监督,保证系统正常运行,一旦出现异常才能及时处理,为了更快速地响应,
在服务器上编写了一套的python脚本轮询,发现问题会自动发送短信和邮件告警并使用消息机器人同步到工作群。
责任描述: 负责开发脚本,每小时轮询一次,主要使用了requests,MySQLdb库。
二、项目名称: 房价数据爬取系统(Python)(2017/07-2018/06)
项目描述: 由于公司是房价信息咨询机构,数据的准确性和全面性要求很高,为了适应公司业务上的发展,获取互联网主流的房地产网站免费数据,降低房价数据获取成本占数据总成本的比例,所以需要开发一套系统自动获取竞争对手的房价数据。 经过对需求的分析,设计了基于主流二手房网站爬取的系统。系统包括应用、爬虫插件和数据库。主要使用django和scrapy框架开发,数据存储在MySQL数据库。
责任描述: 负责各模块开发,实现每日上万条数据的抓取,并节省了原先支付给第三方数据服务公司的费用。

案例展示

  • 京东超市数据抓取

    京东超市数据抓取

    使用python抓取京东超市列表的所有商品详情数据,并保存到文本文件,可以定时更新,节省大量人工成本。

  • 自动化报表

    自动化报表

    根据电商团购数据,爬取相关产品数据并制作成可视化报表,每天自动刷新,可以搭建在线平台,并自动转换成图片,主要使用的技术是python和PBI报表可视化工具

查看案例列表(含更多 0 个案例)

评价列表

猿急送用户    2022-10-02 22:16    5星

【该评论为5星(满分)好评,评论人选择不公开展示】

SinkorSwim    2022-08-11 22:12    5星

负责认真 沟通高效 期间计划和优化都很好

信用行为

  • 接单
    2
  • 评价
    2
  • 收藏
    1
  • 五星率
    100%
  • 退款
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服