该工具支持从目标网站(如中国,红旗,等)按关键词、分类或单个图集链接进行批量下载。主要功能包括:
输入关键词或专辑ID,自动解析分页参数,抓取所有高清原图;
内置延迟、重试和代理切换机制,有效规避简单反爬;
自动生成Excel清单,记录图片标题、原图链接、存储路径;
支持多线程下载,提升效率(10线程同时下载,1000张图片约3分钟)。
我在该项目中负责整体架构设计、爬虫逻辑编写、异常处理及交付文档撰写。核心技术栈为 requests + BeautifulSoup + threading + openpyxl,代码注释清晰,易于二次修改。