本项目对全国的乡村振兴数据进行收录、计算而后产出可视化页面。 其中数据的收录途径有三个: 1.文件上传 2.api获取 3.爬虫获取。 其中我负责的爬虫获取这块。使用jsoup + htmlunit来完成爬虫工作。 为确保爬虫任务不会受到系统重启这类因素影响,所以使用redis中的set集合设计了一个简单的爬虫任务调度器。 遇到过得问题:通过hanlp和hash方法解决了数据录入之后存在区划数据缺漏问题。 责任描述: 负责接口文档编写;线上环境维护;编写爬虫进行数据采集、补全;试点示范乡村画像的后端开发工作;数据库设计;
该项目是一个为停车场服务的平台,由多个独立的系统组成的一个项目(SAAS,LocalAPI,OpenAPI,CloudCore,PayCenter,ScanPay,CloudAPI,TimeTask),项目内之间的通讯采用HttpClient协议与redis publish解决,项目外之间的通讯采用HttpClient协议与RecketMQ解决。其中SAAS、CloudAPI为Springboot+MyBatis+log4j2框架,其余系统皆是Spring+SpringMVC+Mybatis+logback,jar包管理使用的都是maven,数据库为MySQL,redis作缓存。 我主要
本项目对全国的乡村振兴数据进行收录、计算而后产出可视化页面。 其中数据的收录途径有三个: 1.文件上传 2.api获取 3.爬虫获取。 其中我负责的爬虫获取这块。使用jsoup + htmlunit来完成爬虫工作。 为确保爬虫任务不会受到系统重启这类因素影响,所以使用redis中的set集合设计了一个简单的爬虫任务调度器。 遇到过得问题:通过hanlp和hash方法解决了数据录入之后存在区划数据缺漏问题。 责任描述: 负责接口文档编写;线上环境维护;编写爬虫进行数据采集、补全;试点示范乡村画像的后端开发工作;数据库设计;...
该项目是一个为停车场服务的平台,由多个独立的系统组成的一个项目(SAAS,LocalAPI,OpenAPI,CloudCore,PayCenter,ScanPay,CloudAPI,TimeTask),项目内之间的通讯采用HttpClient协议与redis publish解决,项目外之间的通讯采用HttpClient协议与RecketMQ解决。其中SAAS、CloudAPI为Springboot+MyBatis+log4j2框架,其余系统皆是Spring+SpringMVC+Mybatis+logback,jar包管理使用的都是maven,数据库为MySQL,redis作缓存。 我主要...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人