栖风予梦的案例列表

51_job职位信息爬取

企业服务-数据服务 栖风予梦

本项目为 51job 招聘网站的爬虫系统,由我独立开发,主要实现职位信息的自动化采集与本地存储。 系统包含以下核心功能模块: - 关键词搜索与多页翻页控制 - 职位列表与详情页数据提取 - 动态页面处理(Selenium + 显式等待) - 反爬策略(随机延迟、无头模式、自动化特征隐藏) - 数据清洗与结构化存储 - 文件自动命名与重名版本控制 - 日志系统记录运行状态 我在项目中负责全部开发工作,包括需求分析、技术选型、代码实现、异常处理与调试。 技术栈方面,主要使用 Python + Selenium + lxml + logging,采用面向对象方式组织代...

51_job职位信息爬取
51_job职位信息爬取

豆瓣电影 Top250 数据采集

企业服务-数据服务 栖风予梦

本项目为豆瓣电影 Top250 数据采集工具,由我独立开发,主要实现电影榜单信息自动抓取、图片下载、结构化存储功能。 系统功能模块: - 自动翻页采集(支持 Top250 全部分页) - 电影基本信息提取(片名、导演/演员、上映年份、制片国家/地区) - 电影简介与经典台词提取 - 电影海报图片自动下载 - 按电影名称自动创建独立文件夹 - 图片与文本信息分类存储 - 异常跳过与空值处理 我在项目中负责全部开发工作,包括: - 页面结构分析与 XPath 提取规则设计 - 分页参数构造与请求复用 - 多字段数据清洗与合并 - 文件系统操作(目录创建、图片写入、...

豆瓣电影 Top250 数据采集
豆瓣电影 Top250 数据采集
豆瓣电影 Top250 数据采集
------ 加载完毕 ------
联系需求方端客服