1、使用Flink完成实时数据处理,包括统一的缓存管理、配置中心、日志追踪、性能监控等模块功能设计及实现。日均处理千万级数据,年处理二十亿级数据。
2、使用Elasticsearch做搜索的数据存储和服务,设计ES索引结构,优化ES查询性能,索引5000万级数据量,实现秒级搜索响应。
3、使用Hive做数据备份,熟悉小文件处理,精通Spark批处理Hive数据。具有Spark处理亿级数据工作经验。
4、精通SpringBoot技术栈,设计后端代码架构设计,并完成代码开发。具有分布式架构经验,后台部署10+节点,精通Redis缓存技术的原理及使用,接口TPS达1000/s。
5、精通数据库设计,具备优秀的SQL编写及调优能力。具有MySQL、PostgreSQL使用及优化经验。