熟练使用: FastAPI / Flask | Django | RESTful API 设计 | MySQL / PostgreSQL
Pandas/Numpy | Requests / BeautifulSoup / Selenium
Git | Linux基础命令
熟悉:SQLAlchemy / ORM | JWT认证 | Docker基础 | 异步编程(asyncio / aiohttp)基础 | Celery(了解)
Redis基础 | 单元测试(pytest / unittest)
项目名称:新闻数据采集与API服务
技术栈:FastAPI + Requests/BeautifulSoup + Pandas + MySQL + Docker
项目描述:构建一个定时采集新闻网站数据并对外提供RESTful API查询服务的后端系统。
我的职责与成果:
基于 FastAPI 框架设计并实现了3个核心API接口(数据查询、按关键词筛选、数据统计),支持JSON格式响应
使用 Requests + BeautifulSoup 完成目标网站数据采集模块,通过 Pandas 进行数据清洗后存入 MySQL 数据库
使用 JWT 实现API接口的用户认证,确保数据访问安全
编写 Dockerfile 将应用容器化,实现一键部署
项目日均采集并处理数据约1000+条,API平均响应时间低于200ms