William ID:316245 复制

William

大数据开发工程师 · 5年经验 · 上海市鹰角网络科技有限公司
城市上海 徐汇 日薪800元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

技术能力

AI 技能提取 | 分布式 Spring Boot Spring Java Python MySQL PostgreSQL Spark Flink HBase Hive ClickHouse
开发语言:java、python、scala
后端框架:spring、springboot、以及mvc
单机数据库:mysql、orcale、postgresql
分布式数据库、数据仓库:clickhouse、starrocks、hive、hbase、kudu
数据查询引擎:presto、trino
离线数据计算框架:spark
实时数据计算框架:flink
数据湖技术:hudi

项目经验

项目名称:数据中台前沿化建设
项目架构:flink、spark、kafka、clickhouse、trino、hudi、hive、datahub。
项目描述:针对于传统数仓的高延迟、数据杂乱、数据丢失或重复、数据错误等一系列痛点重新建设数据中台,利用 新架构从而完成数据实时入仓,配置化清洗逻辑,添加元数据管理、数据血缘等特性,优化上层建模,提 高数据使用效率。并能独立出产品接入任何数据源,如有需要可以提供给外界任何公司做第三方数仓工具。 数据最前沿的数据产品,对标数数等数据公司,优于神策。
责任描述:1.负责项目的从0到1的开发;
2.参与项目架构的选型。


项目名称:实时广告归因以及用户行为统计分析
项目描述:根据第三方渠道的广告日志,设备数据以及用户数据完成广告归因,回调第三方,并统计用户行为信息, 完成各个渠道带来的新增、活跃、付费、流失、回流等各项指标。广告归因为自己的算法,对标同类广告 归因产品热云广告归因。 责任描述:1.参与项目的架构选型;
2.负责从0到1的开发;
3.负责各个版本的迭代。


项目名称:智慧城市(数据挖掘)
项目描述:公司关于嗅探设备、侦码设备、审计设备和网络督察长时间积累了大量的数据,为了做智慧城市项目需要做关于 人物画像的数据挖掘。由于数据是不同的设备采集的,采集范围、采集点也不相同,每种数据之间无强关联性, 只能通过时间和空间的数据进行碰撞,利用概率学,进行关联分析,再进行一系列的业务逻辑计算,从而得到 关联性的人物属性的人物画像。
责任描述:1.负责项目的架构指定,技术选型,并带领小组负责该项目的开发;
2.负责架构的性能、压力测试;
3.负责关联分析算法的实现;
4.负责项目的发布与交付。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

微信沟通 立即沟通 立即预约
平台担保交易 · 1小时内不满意可退款
微信扫码,建群沟通

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
相似人才推荐: