数据中台COMMANDER分布式调度系统
项目描述:分布式调度系统的包括几个模块:用户模块,网关模块,master模块,slave模块
1.用户模块包含RBAC业务模型设计,数据权限,用户主题域管理
2.网关模块包含jwt token生成和API拦截,API认证等功能
3.mater模块:调度系统的自动化配置配置模块
4.slave模块:调度系统的核心模块,用于多节点分布式集群部署用
支持功能:以计划/任务/作业/程序的链式绑定关系来支持调度作业
1.支持批量作业的调度,包含小时批次,日批次
2.支持轮循任务的唤醒和上下游依赖的作业调用
3.支持多节点负载均衡,故障转移,支持离线任务的补偿
4.支持作业多线程并发执行,支持程序编排执行
5.对单一作业和过往作业重跑或者其他调度操作
6.支持作业上下游依赖环数据检测,支持DAG图
7.支持任意平台接入,支持日志提取,信息告警
8.支持多语言数据库环境(mysql,oracle,sqlServer)
脉联达人/人间烟火交友婚恋
主要成就:
1. 基于springboot+mybaits-plus +redis+mysql+微信小程序端的相亲市场软件,目前推广市场,使用注册用户量5000+
2. 基于dubbo+zk+springboot+mybaitsplus+mysql+redis+mongeDB+spark的网红合伙人app和小程序
s由于2者都是社交的软件,所以就单列一款
项目职责:
1.单点登录:使用了腾讯云的短信验证,依据验证码和token缓存校验登录
2.通告管理:将通告信息发布到mysql并且读到redis缓存,报名信息提交
3.支付服务:统一使用微信支付,账户余额用于打赏或者主播艺人
4.作品发布:由用户发布,新增点赞或评论都发送消息更新mongeDB
照片存储在oss,短视频用HDFS分布式文件存储,当作品信息有变动时,也会
发送消息更新mongeDB
5.人才信息:个人信息页获取spark推荐的数据信息展示,也可以进行自行筛选
6.个人中心:根据mongeDB中的信息进行报名信息 关注信息 点赞信息展示
7.活动预约:将预约信息存储查询结果存储到redis,每次更新异步开启线程去更新到mysql
预录入系统
springboot+mybaits +redis+mysql
实际功能:对接了企业微信和金蝶的eas系统和致远科技OA,用于处理员工的入离职/财务报销,同时支持客户信息的填写和修改