情话网信息爬取以及自动发送消息

人工智能其他案例ID：235689

艾斯

1 年经验· 个人开发者

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

这是一个使用Python开发的自动化爬虫程序，位于 spider.py ，用于从"情话网"（ http://www.ainicr.cn/ ）抓取情话内容，并通过模拟键盘操作实现自动发送功能。

## 核心功能
1. 多User-Agent伪装：程序内置了18种不同的浏览器User-Agent字符串，在每次请求时随机选择，有效避免被目标网站识别和封禁。

2. 多层级页面解析：

- 首先爬取列表页，获取所有详情页的链接
- 然后遍历每个详情页URL
- 最后提取页面中的情话内容
3. 自动化内容发送：通过pyperclip复制内容到剪贴板，使用pyautogui模拟Ctrl+V粘贴和回车键发送，实现半自动化操作。

## 技术架构
依赖库：

- requests ：发送HTTP请求获取网页内容
- lxml.etree ：使用XPath语法解析HTML文档
- pyautogui ：模拟键盘鼠标操作
- pyperclip ：访问系统剪贴板
- random ：随机选择User-Agent
- time ：添加延时，防止操作过快
- sys ：程序退出控制
## 代码结构
Spider_qinghua类包含以下方法：

- __init__() ：初始化URL和User-Agent列表
- ask(url) ：发送GET请求，返回网页内容
- get_list_url(data) ：解析列表页，提取详情页URL
- analy_page_data(data) ：分析列表页数据
- analy_data(data) ：解析详情页内容并执行发送操作
- start() ：程序入口，按流程执行爬取
## 工作流程
1. 程序启动后访问首页，获取文章分类列表
2. 遍历每个分类的详情页链接
3. 提取每篇文章中的情话内容
4. 询问用户是否准备好发送
5. 倒计时后自动复制内容并发送
## 特色亮点
反爬策略：通过随机User-Agent模拟不同浏览器访问

人机交互：发送前会提示用户准备聊天界面，确保操作准确性

容错处理：网络请求失败时不会直接崩溃，而是跳过当前页面继续执行