爬取招聘信息功能

企业服务 数据服务 案例ID:160433
2 年经验· 广州市宇云信息科技有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

前端技术:vue.js + axios + Element-ui
后端技术:springBoot + springDataJpa + springMvc + springCloud + WebMagic + RabbitMq +ElasticSearch + MySQL + nginx
项目描述:该项目是实现于springCloud的一套分布式、微服务项目;主要用于拉取各个招聘网站上的信息,存储在mysql数据中;在通过ElasticSearch进行检索。该项目中有5个微服务模块,其中有2个主要的模块:
取数据微服务——拉取各大网站数据并保存在mysql数据库,由于各大网站数据过大,所以单独提取成一个微服务,提升效率,并且设置任务每天定点重新拉取数据。若是更新或者插入新的信息,则向消息队列中发出消息。让搜索微服务更新ElasticSearch索引库,达到数据同步的目的
搜索微服务——使用全文检索技术ElasticSearch,作为数据的查询功能;并对外提供查询的接口,在接受基本的查询条件后,根据条件进行bool分页查询,再添加es索引库中的条件进行聚合,最后返回json格式的分页结果集,以及当前分页可选的所有过滤条件对象

爬取招聘信息功能

企业服务 · 数据服务 案例ID:160433
联系该工程师
微信扫码,建群沟通
作者: - 2年经验- 广州市宇云信息科技有限公司

案例介绍

前端技术:vue.js + axios + Element-ui
后端技术:springBoot + springDataJpa + springMvc + springCloud + WebMagic + RabbitMq +ElasticSearch + MySQL + nginx
项目描述:该项目是实现于springCloud的一套分布式、微服务项目;主要用于拉取各个招聘网站上的信息,存储在mysql数据中;在通过ElasticSearch进行检索。该项目中有5个微服务模块,其中有2个主要的模块:
取数据微服务——拉取各大网站数据并保存在mysql数据库,由于各大网站数据过大,所以单独提取成一个微服务,提升效率,并且设置任务每天定点重新拉取数据。若是更新或者插入新的信息,则向消息队列中发出消息。让搜索微服务更新ElasticSearch索引库,达到数据同步的目的
搜索微服务——使用全文检索技术ElasticSearch,作为数据的查询功能;并对外提供查询的接口,在接受基本的查询条件后,根据条件进行bool分页查询,再添加es索引库中的条件进行聚合,最后返回json格式的分页结果集,以及当前分页可选的所有过滤条件对象

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×