需求:获取上交所债券信息,共计1万8千余条
实现效果:用RPA软件自动运行了45小时34分56秒,成功跑通整个流程,获取到全部1万8千多条的列表页数据及详情页
解决方案步骤:
1. 打开网站后,先执行js,将每页默认展现10条数据,更改为每页展现2000条数据
2. 用数据抓取组件,抓取每页的列表页数据,以及每条数据的文字和链接,并写入Excel表中
3. 自动翻页,获取全部1万8千多条列表页的数据
4. 关闭浏览器
5. 遍历1万8千多条数据的链接,打开每条数据的链接,获取详情页数据,再关闭当前页面
6. 将获取到的详情页数据,写入Excel表中
7. 重复第5、6步,直到获取最后一条详情页数据
本人独立承担了从调研该需求,到设计解决方案,并用某款RPA软件实现该需求的整个过程,获得客户的认可和好评