项目 一:情报系统intelligence
开发环境: Windows、Idea、Linux、JDK1.8、MySQL、Maven、Git
软件架构: SpringBoot、SpringCloud、Mybatis-Plus、MySQL、Redis、Milvus、Minio、Neo4J、Conductor、ElasticSearch、Jekins.
开发时间:2020-11 月 - 2021-05 月
项目描述:情报系统intelligence。对Facebook、Twitter、youtube、Telegram、Ins等网站的帖子账号等信息进行爬取,大数据平台对爬取的数据进行清洗入库,算法平台处理基本系统有效数据,如分析其发布的帖子的敏感词判断是亲政府还是反政府等,Java业务端处理业务。给客户提供情报服务。
责任描述:
1.工作流模块:开发业务worker并维护,工作流提交,工作流运行,暂停、重启工作流、工作流覆盖、另存为、克隆。限制正在运行的工作流不能被删除、工作流区分私有和公开。
2.模型训练模块:设计表结构、导入数据集:图片上传到Minio、导入标注信息、与算法平台交互,调用算法服务:模型训练、模型发布等;
3.爬虫渗透模块:爬虫账号类型任务的下发调试、开发爬虫关键字类型任务下发,支持关键字与或非关系、解决关键字类型任务的重复下发问题、异步在发爬虫任务、与爬虫进行对接;渗透优化,与另一个系统对接、调试,优化之前渗透状态扭转复杂的问题;
项目 二:团促商城
开发环境:Windows、Idea、JDK1.8、MySQL、Maven、Git、Swagger
软件架构: SpringBoot、SpringCloud、Nacos、Mybatis Plus、MySQL、Redis、FastDFS、ElasticSearch、Thymeleaf、Sentienl
开发时间:2019-11 月 - 2020-11 月
项目描述: 团促商城,一个综合性的 B2C 购物商城,用户可以在商城浏览商品、下单、参加秒杀活动,运营可以在后台系统管理商品、订单等。团促商城涵盖了家用电器、服饰、鞋包、化妆品、护肤品、手机数码、电脑等数万商品,旨在为消费者创建一个物美价廉的购物平台。
责任描述:
7.商品搜索模块:ES 数据结构及映射结构设计、ES 客户端选型、商品上架后存入 ES 及 ES 中商品信息维护、构建 DSL 语句包括:构建高亮、分页、聚合、解析封装返回页面。达到通过分类信息、关键字、商品平台属性、商标检索到匹配的商品信息功能;
8.单点登录模块:根据 CAS 原理。通过部署独立的认证中心,配合网关实现图促商城的单点登录系统;
9.商品详情模块:实现页面的基本功能:展示商品相关信息、根据不同销售属性组合切换商品功能及后台性能优化;
10.订单模块:完成订单确认功能、下单功能、防止订单重复提交方实现、对接支付系统和库存系统;
11.支付模块:调用支付宝支付 API 完成支付、整合关闭过期订单、接口幂等性检验、退款及支付成功后异步并发服务;
12.秒杀模块:秒杀商品缓存预热、秒杀商品审核、展示当天秒杀商品、秒杀任务、秒杀请求合法性校验、防止超卖。
技术描述:
8.使用 Redis/Redission + AOP 实现分布式缓存展示商品详情,减轻数据库服务器压力,同时防止缓存穿透、缓存击穿、缓存雪崩及 Redis 集群下主节点宕机导致的安全失效问题;
9.使用 CompletableFuture 多线程异步编排技术,多路查询所需要数据,并加入线程池,提高访问效率;
10.使用 SQL 语句实现动态的商品切换功能,构建该商品分类下的所有商品和属性值关联关系和前台匹配。 如果匹配到对应商品 则可以通过属性按钮跳转到其他的商品详情页面;
11.使用 ElasticSearch 集成 IK 分词器实现商品搜索,使用 ES 聚合函数实现品牌查询、平台属性查询、商标查询;实现商品名称高亮、分页、热度值/价格排序;利用结果集过滤只查询出所需数据,减轻数据传输压力;
12.利用 Redis 中zSet 数据结构和 INCR 命令实现热度值,并通过缓存稀释缓解 ES 大量写操作降低性能的问题,每访问 100 次更新一次ES;
13.使用 Redis 的发布订阅模式实现秒杀系统各个节点状态位的统一,用 ConcurrentHashMap 存储状态位数据实现线程安全;秒杀任务中用 Redis 中 List 集合的原子性实现用户秒杀预检,预检成功,即获得了秒杀资格,防止超卖问题的发生;
14.GateWay 和认证中心实现单点登录。网关拦截请求进行鉴权,获取 token 并通过 RPC 调用认证中心进行验证,