企业销售团队在拓展客户时,需从58同城(商铺转让/生意转让)、安居客(商业地产租赁)、闲鱼(二手设备转让)等多个平台搜索商户信息并提取联系方式,人工操作耗时长、覆盖面窄、信息质量参差不齐。本平台目标为实现多平台数据自动采集、智能清洗、可信度评分和统一管理,构建从数据采集到精准触达的完整闭环。
### 核心功能模块
| 模块 | 功能说明 |
|------|---------|
| **多平台爬虫引擎** | 基于 Playwright 的无头浏览器爬虫,支持58同城、安居客、闲鱼等平台 |
| **智能数据提取器** | 统一提取引擎,支持电话号码提取(正则+DOM属性+JS脚本多策略) |
| **跨平台交叉验证** | 同一电话号码在多平台出现时自动关联,提升号码可信度评分 |
| **AI辅助分析** | 集成 DeepSeek 大模型,实现号码上下文语义分析 |
| **人工介入系统** | 基于 Socket.IO 的实时验证平台,爬虫遇到验证码时自动截图推送 |
| **后台管理系统** | 基于 EasyAdmin8(Webman+Layui)的完整后台 |
| **H5移动端** | 前端 SPA 应用,支持移动端查看数据 |
| **ML智能分析** | 基于 Rubix ML 实现客户购买意向预测等机器学习功能 |
| **定时任务** | CronProcess 守护进程,支持定时爬取、定时数据清洗 |
| **WebSocket实时通信** | 后台 WebSocket 服务,支持实时数据推送 |
### 业务流程
1. 定时任务或手动触发爬虫执行
2. Playwright 无头浏览器模拟访问目标平台
3. 进入详情页提取商户名称、电话、经营信息
4. 遇到验证码时自动截图推送至人工介入系统
5. 运营人员完成验证,爬虫自动恢复运行
6. 采集数据写入 MySQL,生成可信度评分
7. 后台管理系统提供数据查询、导出等管理功能
### 我的负责模块
- **爬虫引擎**:Playwright框架,支持3平台采集,效率提升50倍
- **数据提取器**:多策略电话提取,召回率95%+
- **人工介入系统**:Socket.IO实时验证,中断恢复率98%
- **后台管理系统**:EasyAdmin8完整后台搭建