该项目为任务调度爬虫系统,主要是功能就是能够配置每天几点执行或每隔几个小时执行爬虫任务,只需要给个地址和要爬取的关键字信息就可以爬取到该地址下所有关键字信息(垂直取),对爬取到的信息的进行维护(一个星期执行一次删除)和查询(查看详细信息和导出),以及对关键字和关键字类型的维护。
项目后端使用springboot+mybatis等框架开发,使用分页插件PageHelper进行信息分页,使用WebCollector+selenium爬虫框架爬取数据,使用Quartz进行动态任务调度。前端页面使用FreeMarker+jquery开发。
开发环境 maven+eclipse+mysql