王皮球

高级软件开发工程师
美国某软件公司在华技术中心 · 3年经验
王皮球
日薪: ¥500/8h
地点: 杭州 西湖
时间: 下班后周六周日
ID:282850 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Spring Boot Spring Kafka RabbitMQ Java Python C++ MySQL MongoDB Hadoop Spark Flink Hive Kubernetes Docker
编程语言:Java, Python, C/C++, Scala, SQL
后端开发相关工具和框架: Spring Boot, Flask, Play, RabbitMQ, MySQL, MongoDB, Docker, Kubernetes, Git
大数据开发相关工具和框架: Flink, Kafka, Hadoop, Hive, Spark

1. 大数据平台开发
• 负责使用 Flask 实现数据管理平台,主要用于公司所有员工的权限审批与管理:1)集成 SAML 登录方式,在简化登录流程的同时增加安全性;2)实现用户权限审批与管理功能;3)提供多种 API 来完成用户校验、检查资源可访问性、告警邮件发送等功能;4)使用 Swagger 为管理平台编写完整且可读的 API 文档,生成的文档可直接用于自动化测试,且便于协同开发和 API 使用。
• 负责使用 Flink,Kafka,Canal 和 Flume 实现多来源数据收集和大数据流式处理功:1)使用 Canal 和 Flume 收集数据库更新、埋点等来源的实时数据,并把实时数据流传入 Kafka;2)使用 Flink 消费 Kafka 中的数据流并进行数据流的实时处理,如过滤、聚合或是需求要求的各种 ETL 方式;3)将处理完的数据存入 MongoDB、MySQL 或 Hive 进行持久化,或者是按照不同的需求传给别的组的 RabbitMQ、Kafka 或调用 API 传输数据流。
• 负责使用 Spring Boot 为其他组提供大数据查询服务:1)使用 HTTP 接口响应 HTTP 请求,返回数据量不大的查询;2)使用 RabbitMQ 响应数据量稍大的查询请求,并实现异步处理;3)数据量特别大时,将数据持久化在云端,返回云端存储地址方便用户下载。
• 参与使用 Spark 组件进行用户风险行为大数据分析,例如使用逻辑斯蒂回归为风险用户打标签和使用 GBDT 对用户行为进行分类。
• 使用 Gitlab 实现 CI,使用 Kubernetes 实现 CD:前面所述的数据管理平台、大数据处理和查询服务
均使用 Gitlab 编译出 image,使用 Kubernetes 进行容器化部署。

2. 卫星嵌入式系统开发
1)姿态解算与控制算法的 Matlab 仿真及其 C 语言实现;2)在卫星嵌入式系统上实现低时间复杂度,高鲁棒性的飞控软件,包含任务调度,多传感器协同,错误处理等;3)使用 Python 脚本实现对卫星的自动化测试和参数调优,加快开发迭代进度;4)使用机器学习方法实现对卫星传感器的校准与处理异常数据;5)负责姿态解算与控制系统 PCB 设计制造,参与卫星主控 PCB 设计。
王皮球 ID:282850 复制

王皮球

高级软件开发工程师 · 3年经验 · 美国某软件公司在华技术中心
城市杭州 西湖 日薪500元/8h 时间 下班后周六周日
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Spring Boot Spring Kafka RabbitMQ Java Python C++ MySQL MongoDB Hadoop Spark Flink Hive Kubernetes Docker
编程语言:Java, Python, C/C++, Scala, SQL
后端开发相关工具和框架: Spring Boot, Flask, Play, RabbitMQ, MySQL, MongoDB, Docker, Kubernetes, Git
大数据开发相关工具和框架: Flink, Kafka, Hadoop, Hive, Spark

项目经验

1. 大数据平台开发
• 负责使用 Flask 实现数据管理平台,主要用于公司所有员工的权限审批与管理:1)集成 SAML 登录方式,在简化登录流程的同时增加安全性;2)实现用户权限审批与管理功能;3)提供多种 API 来完成用户校验、检查资源可访问性、告警邮件发送等功能;4)使用 Swagger 为管理平台编写完整且可读的 API 文档,生成的文档可直接用于自动化测试,且便于协同开发和 API 使用。
• 负责使用 Flink,Kafka,Canal 和 Flume 实现多来源数据收集和大数据流式处理功:1)使用 Canal 和 Flume 收集数据库更新、埋点等来源的实时数据,并把实时数据流传入 Kafka;2)使用 Flink 消费 Kafka 中的数据流并进行数据流的实时处理,如过滤、聚合或是需求要求的各种 ETL 方式;3)将处理完的数据存入 MongoDB、MySQL 或 Hive 进行持久化,或者是按照不同的需求传给别的组的 RabbitMQ、Kafka 或调用 API 传输数据流。
• 负责使用 Spring Boot 为其他组提供大数据查询服务:1)使用 HTTP 接口响应 HTTP 请求,返回数据量不大的查询;2)使用 RabbitMQ 响应数据量稍大的查询请求,并实现异步处理;3)数据量特别大时,将数据持久化在云端,返回云端存储地址方便用户下载。
• 参与使用 Spark 组件进行用户风险行为大数据分析,例如使用逻辑斯蒂回归为风险用户打标签和使用 GBDT 对用户行为进行分类。
• 使用 Gitlab 实现 CI,使用 Kubernetes 实现 CD:前面所述的数据管理平台、大数据处理和查询服务
均使用 Gitlab 编译出 image,使用 Kubernetes 进行容器化部署。

2. 卫星嵌入式系统开发
1)姿态解算与控制算法的 Matlab 仿真及其 C 语言实现;2)在卫星嵌入式系统上实现低时间复杂度,高鲁棒性的飞控软件,包含任务调度,多传感器协同,错误处理等;3)使用 Python 脚本实现对卫星的自动化测试和参数调优,加快开发迭代进度;4)使用机器学习方法实现对卫星传感器的校准与处理异常数据;5)负责姿态解算与控制系统 PCB 设计制造,参与卫星主控 PCB 设计。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏