1.熟悉 python 编程
2.掌握常见的爬虫库,如 requests、urllib、BeautifulSoup4、xpath、re 等
3.熟练使用 Selenium 自动化工具
4.熟练使用 AI 工具 Cursor
5.掌握 Scrapy、Scrapy-Redis 爬虫框架
6.掌握常见的反爬手段,如校验请求头 User-Agent、Referer、Cookie 校验、IP 限流、验证码处理等
7.掌握 JS 逆向
8.熟练使用 MySOL、MongoDB、Redis 数据库
独立开发通用爬虫采集工具,基于 Requests+xpath实现数十个资讯、商品静态页面批量爬取,自动解析标题、价格、发布时间等结构化数据,清洗脏数据、去重后一键导出 Excel/CSV 文件。适配分页循环爬取,加入随机请求间隔、请求头伪装规避基础反爬,无需复杂代理即可稳定采集,大幅降低人工复制整理数据的耗时.