编程语言: Python、SQL
后端框架: FastAPI、RESTful接口设计
数据存储: MySQL(索引优化、事务处理)、Redis(缓存设计、数据持久化)、Tortoise-ORM(数据库映射)
爬虫与数据处理: Scrapy、Scrapy-Redis分布式爬虫、验证码识别、动态页面爬取、Pandas数据清洗与分析
项目背景
•针对应届生招聘信息分散、无法直观感知全国岗位分布与薪资趋势的痛点,搭建集爬取、清洗、分析、可视化于一体的招聘热力图平台,支撑用户按地区、行业、岗位维度查询实时招聘数据。
•目标覆盖10+主流招聘平台,日均更新岗位数据1000+,数据准确率不低于95%。
核心贡献
•爬虫开发:基于Scrapy搭建爬虫,设计代理池,日均稳定获取有效岗位数据1000+。
•后端服务搭建:基于FastAPI框架设计接口,实现数据查询、多维度筛选、热力图数据聚合等核心功能;使用Tortoise-ORM完成MySQL数据库建模。
•数据可视化支持:基于Pandas完成原始数据清洗、去重与标签化处理,按行政区域、行业分类聚合岗位数量与薪资中位数数据,为前端热力图渲染提供标准化接口输出。