公开数据采集脚本
案例介绍
> 采集某公开政府公示平台的招标公告信息，自动整理为结构化表格
## 技术栈
- Node.js + Axios + Cheerio
- 定时任务 (node-cron)
- 输出格式：Excel (.xlsx)
## 功能
- 自动抓取指定页面的公开信息
- 提取标题、发布时间、内容摘要、链接
- 去重处理
- 增量采集（只抓新增条目）
- 自动导出为格式化 Excel 表格
## 运行方式
```bash
npm install
node index.js
```
## 输出示例
| 标题 | 发布时间 | 摘要 | 链接 |
| ----------- | ---------- | ----------- | ----------- |
| XXX项目公告 | 2026-06-15 | 项目概况... | https://... |
| YYY项目公告 | 2026-06-14 | 项目概况... | https://... |
## 特点
- 请求间隔合理，不增加目标服务器压力 ✅
- 失败自动重试 3 次 ✅
- 详细日志输出 ✅
公开数据采集脚本
案例介绍
公开数据采集脚本 - 案例
> 采集某公开政府公示平台的招标公告信息，自动整理为结构化表格
## 技术栈
- Node.js + Axios + Cheerio
- 定时任务 (node-cron)
- 输出格式：Excel (.xlsx)
## 功能
- 自动抓取指定页面的公开信息
- 提取标题、发布时间、内容摘要、链接
- 去重处理
- 增量采集（只抓新增条目）
- 自动导出为格式化 Excel 表格
## 运行方式
```bash
npm install
node index.js
```
## 输出示例
| 标题 | 发布时间 | 摘要 | 链接 |
| ----------- | ---------- | ----------- | ----------- |
| XXX项目公告 | 2026-06-15 | 项目概况... | https://... |
| YYY项目公告 | 2026-06-14 | 项目概况... | https://... |
## 特点
- 请求间隔合理，不增加目标服务器压力 ✅
- 失败自动重试 3 次 ✅
- 详细日志输出 ✅
案例图片
相似案例推荐
-
不动产物业管理数字化平台
•在租赁管理模块担任主程，与产品确认需求 •日常版本迭代，
-
赛事赔率聚合播报系统
对接体育赔率 API 的数据聚合与自动播报系统。系统自动抓取
-
链上市场数据雷达系统
基于 Node.js 独立开发的 Solana 链上市场监控
-
保供电数字安监工程师
负责相与团队对项目进行重构工作，对项目Axios二次封装、统
-
上林海外创业协会
该项目基于uniapp开发的微信小程序，用户通过微信获取个人
-
数据共享交换平台
汇集区域内的各类政务数据，对数据进行清洗整理归类，通过开放、
1小时精推人才
需求方专属客服，免费梳理匹配
