ID:427965

茂茂ʚ

大数据开发工程师

  • 公司信息:
  • 富士康科技集团
  • 工作经验:
  • 2年
  • 兼职日薪:
  • 600元/8小时
  • 兼职时间:
  • 可工作日远程
  • 所在区域:
  • 深圳
  • 龙华

技术能力

语言基础: 掌握 Python 语法特性, 熟悉多线程/多进程、协程(asyncio)、装饰器、元类等进阶用法;
后端框架: 熟练使用 Flask、FastAPI,理解 ORM、中间件、路由与请求生命周期;
运维与部署: 掌握 Linux 常用命令, 掌握 Docker 容器化部署;
数据库: 熟悉 MySQL、PostgreSQL,具备索引优化、SQL 调优经验;熟练使用 Redis 缓存设计与持久化策略;
异步编程: 熟练使用 Redis 缓存设计与持久化策略, 实现异步任务与定时调度;
前端与接口: 了解 HTML/CSS/JavaScript,能配合 Swagger/OpenAPI 编写规范 RESTful 接口;
数据处理: 掌握PySpark、 Pandas、 Numpy、 Requests、OpenCV、Selenium、Jieba、Re、Datetime、Random、Openpyxl、Scrapy等架构的使用及数据平台的搭建和数据分析;
版本控制: 掌握Git 团队协作流程,熟练处理冲突与 Code Review;
测试与调试: 使用 Pytest 编写单测,熟悉 Postman、Pdb 调试工具;

项目经验

数据中台
描述: 使用Python + Fastapi + PySpark大数据技术实现大规模不同规格的数据高效率高质量传输,实现数据高质量治理&高效共享;
技术栈: Python, Fastapi, PySpark, Clickhouse, Redis
亮点:
1. 利用大数据技术栈(PySpark,Clickhouse)实现亿量级不同规模数据的统一管理, 打破数据之间的隔离;
2. 利用Fastapi + Clickhouse + Redis 实现千万量级数据并发查询能够保持在毫秒内响应;
3. 利用Python的数据处理优势结合PySpark实现多类型的数据输入;统一的规范、标准进行数据建模与管理, 大幅度提升数据质量与降低数据延迟, 实现大规模生产数据实时生成战情看板;

大数据业务接口开发
描述: 使用 Python + Flask + 大数据技术实现大数据业务查询接口;
技术栈: Python, Flask, Redis
亮点:
1. 利用Python + Flask 结合大数据库实现大数据业务查询的RESTFUL接口
2. 利用 Redis 设计缓存热数据与布隆过滤器,有效拦截 70% 的重复告警,降低数据库查询压力;

基于FFmpeg 实现的短视频加工厂
描述: 使用Python + FFmpeg 技术实现的短视频生产系统,可将源素材按不同风格批量加工成可直接发布的短视频;
技术栈: Python, FFmpeg, OpenCV, Pillow
亮点:
1. 利用Python + FFmpeg + OpenCV + Pillow 实现短视频的批量定向剪辑;
2. 利用Python + FFmpeg 实现短视频音乐的批量定向更换;
3. 运营通过前端技术下达定制生产任务与配文, 后端生产发布, 一体自动化运营;
4. 系统协助运营做出了多个爆款视频;

基于文字识别/图像识别实现的新媒体定向自动化运营系统
描述: 使用Android + Python技术实现的根据关键词浏览指定新媒体平台的指定类内容, 模拟人为的动作, 实现批量定向自动化运营系统;
技术栈: Python, Android, OpenCV, Pillow, Paddleocr
亮点:
1. 利用Android + Python + OpenCV + Pillow 实现移动端平台账号的批量自动化运营;
2. 利用Paddleocr实现批量图片中指定位文字内容获取;
3. 系统协助运营做出了多个爆款账号;

基于机器学习的财务记账系统
描述: 使用机器学习技术帮助财务人员分析流水摘要分配财务凭证与财务指标计算系统
技术栈: Python, Scikit-learn, Openpyxl, xlrd/xlwt
亮点:
1. 财务人员上传流水Excel即可获取记账结果, 优化财务工作效率, 减少人为错误;
2. 利用Scikit-learn实现机器学习多种类财务数据摘要批量自动记账,万级数据准确率达99%;
3. 分存训练结果, 隔离不同企业财务数据保证数据安全;

案例展示

  • 数据中台

    数据中台

    描述: 使用Python + Fastapi + PySpark大数据技术实现大规模不同规格的数据高效率高质量传输,实现数据高质量治理&高效共享; 技术栈: Python, Fastapi, PySpark, Clickhouse, Redis 亮点: 1. 利用

  • 大数据业务接口开发

    大数据业务接口开发

    描述: 使用 Python + Flask + 大数据技术实现大数据业务查询接口; 技术栈: Python,Flask,Redis,Spark,Hive,Clickhouse,Hbase 亮点: 1. 利用Python + Flask 结合大数据库实现大数据业务查询的RE

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服