Yuri

豆瓣 Top250 电影信息爬取项目​
项目目标：获取豆瓣电影 Top250 榜单中的电影基础信息（含名称、评分、评价人数、导演、主演、上映年份等），为影视爱好者提供观影参考，同时为影视市场相关数据分析提供原始数据。​
执行过程：基于 Python 语言搭建爬虫框架，使用 Requests 库发送 GET 请求获取目标网页 HTML 数据，通过 BeautifulSoup 解析页面结构，定位并提取电影相关字段。针对豆瓣的反爬机制，设置随机 User - Agent 请求头模拟浏览器访问，并控制爬取间隔（每 3 秒请求 1 次），避免触发 IP 限制。爬取后用 Pandas 对数据进行清洗，剔除格式异常的记录，最终将数据存储为 Excel 表格，包含 250 条完整电影信息。​
技术应用：运用 Requests 实现网络请求、BeautifulSoup 进行数据解析、Pandas 处理数据，结合反爬策略保障爬取稳定性。​
项目成果：成功获取豆瓣 Top250 电影的全量有效数据，数据完整度达 100%，表格数据可直接用于筛选高分电影或开展统计分析（如不同年份电影评分分布、热门类型占比等）。​
软科大学排名信息爬取项目​
项目目标：抓取软科中国大学排名榜单中的高校排名、总分、办学层次、学科实力等核心数据，为学生志愿填报、高校发展研究提供数据支持。​
执行过程：采用 Scrapy 框架构建分布式爬虫，实现多页面自动爬取（覆盖全部排名页面）。由于部分排名数据通过 JavaScript 动态加载，引入 Selenium 工具模拟浏览器渲染，确保数据完整提取。爬取过程中通过 MongoDB 临时存储原始数据，后续用 Pandas 进行去重、格式统一等清洗操作，最终生成结构化 CSV 文件。同时配置代理 IP 池应对网站 IP 封禁风险，保障爬取连续进行。​
技术应用：借助 Scrapy 实现大规模爬取、Selenium 处理动态页面、MongoDB 存储数据，结合代理 IP 池解决反爬问题。​
项目成果：获取当年度软科排名前 500 所高校的完整数据，数据准确率超 99%。生成的 CSV 文件可直接导入数据分析工具，支持按排名、总分等维度筛选高校，为用户提供直观的数据参考。