项目名称:唯品会AI平台
项目周期: 2018-08 - 至今
软件环境:Hadoop、Flink、spark、Zookeeper、Kafka、Hive、ElasticSearch、SqlServer、k8s、kubeflow
项目描述: 该项目是唯品会所有大数据团队、算法团队所运行的平台,里面包括spark、flink等主流大数据技术,也包括tensorflow、pytorch等主流机器学习技术,各业务方无需再各自搭建平台,全部统一环境,并且使用容器化技术,更大限度利用资源,更加灵活。
个人负责:
(1)flink、spark等平台的开发
(2)负责数据异常监控的开发
(3)资源调度方案设计与开发
(4)业务指标的计算