2018.12 ~ 2019.01
网店管家
系统架构:SpringBoot + MyBatis Plus + Web Socket + JWT + Redis + Layui.js
项目描述:就目前市场来说,电商已经趋势多年,但服务商方面还在丰富;该项目就服务方面进行,对店铺商家进行完整的管理。对接淘宝/天猫、阿里巴巴(1688)、京东、拼多多店铺,支持商品图片,详情,标题, 属性,价格等批量复制,一键搬家,商品批量修改,批量上下架,批量删除等功能。中间采用 stock 技术, 实时更新日志状态,对采集数据使用异步处理,同步输出。
技术描述:
项目采用 Maven 进行 jar 库的管理,使用 Git 进行版本管理。
采用 SpringBoot + MyBatis Plus 架构,并使用注解切面处理日志处理以及日志记录等。
使用JR303 进行数据校验、全局异常处理、统一返回。
使用 webSocket 技术,对修改数据进行实时更新,达到一键到位体验。
使用 Swagger2 用于生成、描述、调用和可视化 Restfu 风格的 Web 服务。
网店管家 (迭代开发与重构)
系统架构:SpringCloud + Nacos + Docker + Vue.js + Element UI
项目描述:由于初代版本的网店管家中上线了数据采集服务,涉及到多线程调度需要占用大量的系统资源,且用户基数较大大量的请求使传统单体达到了性能瓶颈。外加各大电商平台要求服务商必须使用自家的云产品和服务器,且每月必须安平台指标完成指定的压测任务。所以决定使用微服务方案对现有的单体应用进行重构。
技术描述:
使用 Vue + Element + Node.js 技术 实现前后端分离,使用了权限控制,丰富用户体验。
使用了 Spring Security + JWT, 对用户进行验证及权限管理。
使用 ElasticSearch + Kiban 对各平台爆款商品进行检索优化。
基于 Redis 实现分布式锁,解决服务之间竞争资源所引发的数据安全问题。
使用RocketMq 配合C端将平台物流信息细化分类并进行推送通知
使用Docker容器引擎,并配合GitLab CI 完成项目的持续集成;
2019.03—至今
店大侠—数据采集服务
系统架构:SpringBoot + MyBatis Plus + Redis
项目描述:该项目是为了满足店大侠一键搬家进行;专对各大电商平台数据采集。如淘宝、天猫、阿里巴巴、拼多多、京东等,应对平台数据结构及变更进行应对措施。拆分、重组、统一。
技术描述:
使用 WebMagic 技术进行对数据的抓取,并解析得到想要的数据。
对已处理的数据进行 Redis 缓存。并对数据存变更校对。
为防止数据采集任务过多,导致服务器内存溢出,对原有业务逻辑进行改造,编写并封装优化并发任务执行框架。
放弃HDFS方案,使用阿里云OSS服务存储图片文件数据