熟练掌握 Spring、SpringMVC、SpringBoot、 SpringCloudAlibaba 开发框架,熟练掌握 Mybatis、MybatisPlus 持久层框架 ,使用 Nacos , Gateway 等注册中心和网关,熟悉使用 IDEA 项目构建工具Maven、代码协作平台Gitee、GitLab、Git,库建模工具,PDManer、性能测试工具JMeter等,熟悉常用的 NoSQL 技术框架并在实际场景中实践,如:Redis、ES 等
数据中台
负责数据采集模块:
负责管理和配置各种数据源的的连接 比如: Mysql,Es,Kafka等
在先有数据源库的基础上新增数据预览的功能,查看每个数据中最近的数据
日志审计:
登陆明细列表:查询和展示登录明细。
使用kafka存储数据:将登录明细数据存入kafka中。
使用ES查询数据:从kafka中消费数据存储在ES中,并展示。
操作日志:
记录登录数据:记录每日登录人数和登录异常次数。
记录用户操作:记录用户使用的功能。
添加复制功能:支持一键复制日志详情。
完成数据折线图:展示登录趋势。
数据处理:
数仓树:分发要素信息至不同数仓层级。
表结构查看:查看库表结构详情。
数据预览:查看数据表的数据。
配置任务:配置数据开发任务,包括运行方式和调度设置。
数据治理:
规则管理:验证和测试规则
自定义质量分析:确定关键指标和规则
数据服务:
API管理:实时监控和报告数据质量问题
提供清晰的API文档和示例,实施权限控制和访问限制