简单 图片爬取 视频爬取

人工智能-其他 T W T

该工具支持从目标网站(如中国,红旗,等)按关键词、分类或单个图集链接进行批量下载。主要功能包括: 输入关键词或专辑ID,自动解析分页参数,抓取所有高清原图; 内置延迟、重试和代理切换机制,有效规避简单反爬; 自动生成Excel清单,记录图片标题、原图链接、存储路径; 支持多线程下载,提升效率(10线程同时下载,1000张图片约3分钟)。 我在该项目中负责整体架构设计、爬虫逻辑编写、异常处理及交付文档撰写。核心技术栈为 requests + BeautifulSoup + threading + openpyxl,代码注释清晰,易于二次修改。...

简单 图片爬取 视频爬取
简单 图片爬取 视频爬取

数据爬取

人工智能-其他 T W T

自动分页抓取,支持增量更新,每日定时检测最新期号; 清洗非结构化文本,统一格式存入MySQL数据库; 提供前端表格可视化展示(如上图所示),可按期号排序、关键词筛选; 导出Excel报表,用于个人数据分析或彩票研究。 本作品展示了我从数据抓取、数据清洗到数据存储与展示的全栈能力,代码具有高稳定性和可维护性,经过长期运行验证。...

数据爬取
数据爬取
------ 加载完毕 ------
联系需求方端客服