1、 人才文本匹配系统
系统环境:爬虫 selenium+bs4+pandas 网络系统:Django+bootstrap5
具体过程:通过系统的数据需求,选择相应的数据来源。选择selenium对招聘网站进行爬取,使用bs4对网页的结构进行解析,对爬取的数据存储为excel。根据数据和实际需求,把系统用户进行相应的角色划分。确定django开发过程中的数据模型model,使用orm来进行mysql数据库的操作。根据不同的功能模块,定义相应的路由,也就是网页链接,再根据对应的链接进行视图处理函数的定义。把数据库的CRUDE的操作与前端的bootstrap5框架进行相应的结合,对django的基本操作进行使用。
2、 疫情分析系统
系统环境:爬虫requests、mysql、echarts.js、flask
具体过程:对腾讯疫情数据进行相应的爬虫,进行相应的存储。使用echarts.js进行相应的结合使用,设计数据可视化大屏。
3、阳光高考爬虫项目
系统环境:爬虫 scrapy+mysql 数据分析系统 pandas+matplotlib+pyecharts
具体过程:使用scrapy对河南省阳光高考网站数据进行相应的爬取,结合mysql对数据进行相应的存储,存储得到的结果,使用pyecharts进行相应的可视化展示,在展示的过程中,利用pandas来对数据进行相应组织。