金融研究爬虫系统

金融 股票 案例ID:237228
Mi
9 年经验· 顺丰科技有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

1.立项背景和目标:需要对主流金融网站上的常见金融指标数据进行分析,需要获取实时的数据做量化分析
2.软件功能、核心功能模块的介绍:(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 (3)反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术
(4)数据库采用mongoldb,oracle,后端技术采用flask框架
3.业务流程、功能路径描述:爬取主流金融网站的数据、图片、excel文件、html信息,解析、提取、转换其中的数据并落入数据库中,通过接口的形式推送到业务系统做展示 根据这个内容来生成对应的流程图

金融研究爬虫系统

金融 · 股票 案例ID:237228
联系该工程师
微信扫码,建群沟通
作者: Mi - 9年经验- 顺丰科技有限公司

案例介绍

1.立项背景和目标:需要对主流金融网站上的常见金融指标数据进行分析,需要获取实时的数据做量化分析
2.软件功能、核心功能模块的介绍:(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 (3)反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术
(4)数据库采用mongoldb,oracle,后端技术采用flask框架
3.业务流程、功能路径描述:爬取主流金融网站的数据、图片、excel文件、html信息,解析、提取、转换其中的数据并落入数据库中,通过接口的形式推送到业务系统做展示 根据这个内容来生成对应的流程图

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×