采用 golang 作为爬虫抓取语言、使用 yml 文件作为配置文件。循环读取 yml 配置的爬虫项目、然后使用多协程模式并发抓取数据然后保存到 json 文件。当一轮数据抓取完成后、程序会根据 yml 配置文件的睡眠时间进行睡眠、睡眠结束后会再次抓取数据覆盖到当天 json 文件。当修改了 yml 配置文件,不用重启程序、等待下一次任务执行就会应用最新配置。当程序运行时想暂停某个爬虫任务、只需要将 yml 配置文件中对应配置 enable 改为 0 即可暂停该任务抓取。
使用 python 获取上市公司基础财务报表数据、然后对报表进行百分比处理,最后保存为 csv 文件。对存储文件的目录进行扫描、获取存储路径、存入 SQLite 数据库。然后使用 grafana 开源软件获取 SQLite 数据库存储的文件目录、最后使用 CSV 插件读取展示财务报表数据。
后端采用 golang 作为开发语言、采用 gin 框架作为 web 服务器。前端采用 vue3 开发网页、UI 框架采用的 iview 开源项目。
采用 golang 作为爬虫抓取语言、使用 yml 文件作为配置文件。循环读取 yml 配置的爬虫项目、然后使用多协程模式并发抓取数据然后保存到 json 文件。当一轮数据抓取完成后、程序会根据 yml 配置文件的睡眠时间进行睡眠、睡眠结束后会再次抓取数据覆盖到当天 json 文件。当修改了 yml 配置文件,不用重启程序、等待下一次任务执行就会应用最新配置。当程序运行时想暂停某个爬虫任务、只需要将 yml 配置文件中对应配置 enable 改为 0 即可暂停该任务抓取。...
使用 python 获取上市公司基础财务报表数据、然后对报表进行百分比处理,最后保存为 csv 文件。对存储文件的目录进行扫描、获取存储路径、存入 SQLite 数据库。然后使用 grafana 开源软件获取 SQLite 数据库存储的文件目录、最后使用 CSV 插件读取展示财务报表数据。...
后端采用 golang 作为开发语言、采用 gin 框架作为 web 服务器。前端采用 vue3 开发网页、UI 框架采用的 iview 开源项目。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人