项目名称:新闻数据采集与API服务
技术栈:FastAPI + Requests/BeautifulSoup + Pandas + MySQL + Docker
项目描述:构建一个定时采集新闻网站数据并对外提供RESTful API查询服务的后端系统。
我的职责与成果:
基于 FastAPI 框架设计并实现了3个核心API接口(数据查询、按关键词筛选、数据统计),支持JSON格式响应
使用 Requests + BeautifulSoup 完成目标网站数据采集模块,通过 Pandas 进行数据清洗后存入 MySQL 数据库
使用 JWT 实现API接口的用户认证,确保数据访问安全
编写 Dockerfile 将应用容器化,实现一键部署
项目日均采集并处理数据约1000+条,API平均响应时间低于200ms