1. 支持多数据源(MySQL/Redis/ 对象存储)到数据仓库的实时 / 离线同步,兼容全量、增量、CDC 等多种同步模式; 2. 提供可视化任务配置、监控告警、失败重试与自动灾备能力; 3. 内置流量削峰、限速保护与数据校验机制,保障每日 PB 级数据流的高效、稳定传输; 4. 支持同步任务的资源隔离与弹性扩缩容,降低大规模数据同步对业务侧的影响。...
这是一个面向中小型企业的HR管理系统,旨在替代Excel表格,实现员工信息、考勤、薪资的在线化管理。我负责整个后端接口的开发与数据库设计,并与前端(Vue)联调。 核心功能模块: 组织架构管理:树形结构的部门管理,支持无限层级。 员工管理:员工入职、转正、调岗、离职全生命周期管理,支持分页模糊搜索。 考勤与薪资:考勤数据导入,根据考勤自动计算基本工资、绩效、五险一金扣款,生成月度工资条。 角色权限(RBAC):基于Spring Security + JWT实现。不同角色(超级管理员、HR经理、普通员工)登录看到不同的数据和操作按钮。例如普通员工只能查看自己的薪资,...
本项目为环保工程企业打造的工程项目全过程数字化管理平台(OA),覆盖项目立项与进度看板、供应商/材料/分包、采购、销售客户与业绩、行政报销/补贴/工资条、多公司租户隔离等核心业务。 后端采用 Spring Boot 微服务:API 网关 + 10 个领域服务,基于 Nacos 注册发现、OpenFeign 跨服务调用;工作流服务集成 Flowable 实现请假、报销等审批,审批结果经 RabbitMQ 异步回调业务模块;统一认证使用 Sa-Token,数据层 MyBatis-Plus 支持多租户与 RBAC 权限。 前端 Web 使用 Vue3 + TypeScript + Ele...
Schneider2019/03 - 至今 System Architect / ... 职责: 设计系统架构,数据库模型,接口 评估供应商方案 确保系统上线正常运行 培训 研究业务相关的技术(商机挖掘,AI) 优化施耐德所有项目的架构 业绩: 即将上线的商机挖掘系统找到多个外部项目,服务于业务销售。...
这是bued项目的管理员端,用户端的用户进行登录、抽奖、输入验证码等相关数据会即时记录到管理员端,而抽奖的验证码相关数据会在每日凌晨自动清理(需求方要求),这个管理员端同样是我全权开发,并合并到同一个项目文件内,最后作为一个完整的项目进行部署上线,需求方验收...
本作品是一套基于 Python 的豆瓣公开数据自动化采集与分析系统,核心功能覆盖豆瓣电影、图书、短评 / 长评的全量公开数据爬取、清洗与结构化处理。 技术上,我负责整体架构设计与核心模块开发:使用 Requests+XPath 实现静态页面数据的高效解析,针对动态渲染的评论页,采用无头浏览器模拟用户行为完成渲染爬取;同时搭建了代理 IP 池与请求头池,通过请求频率控制、随机延迟等策略,有效规避了平台的反爬限制,爬取成功率稳定在 98% 以上。 数据处理环节,实现了自动去重、格式校验、缺失值补全等清洗逻辑,将采集的万级数据批量写入数据库,并导出为结构化文件,为后续的用户评论情感分析、评分分布...
本作品是一套基于 Python 的豆瓣公开数据自动化采集与分析系统,核心功能覆盖豆瓣电影、图书、短评 / 长评的全量公开数据爬取、清洗与结构化处理。 技术上,我负责整体架构设计与核心模块开发:使用 Requests+XPath 实现静态页面数据的高效解析,针对动态渲染的评论页,采用无头浏览器模拟用户行为完成渲染爬取;同时搭建了代理 IP 池与请求头池,通过请求频率控制、随机延迟等策略,有效规避了平台的反爬限制,爬取成功率稳定在 98% 以上。 数据处理环节,实现了自动去重、格式校验、缺失值补全等清洗逻辑,将采集的万级数据批量写入数据库,并导出为结构化文件,为后续的用户评论情感分析、评分分布...