Mi的案例列表

金融研究爬虫系统

金融-股票 Mi

1.立项背景和目标:需要对主流金融网站上的常见金融指标数据进行分析,需要获取实时的数据做量化分析 2.软件功能、核心功能模块的介绍:(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 (3)反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术 (4)数据库采用mongoldb,oracle,后端技术采用flask框架 3.业务流程、功能路径描述:爬取主流金融网站的数据、图片、excel文件、html信息,解析、提取、转换其中的数据并...

金融研究爬虫系统
金融研究爬虫系统

亚马逊商品关键词分析系统

电子商务-B2C Mi

项目名称: 亚马逊商品关键词分析和广告搜索排名报表开发 软件架构:AWS+EMR+python+sqoop+mysql+hive+clickhouse+powerbi 项目描述: 负责开发公司亚马逊关键词的分析报表、商品广告自然搜素排名报表,分析对比公司商品与竞品的关键词和广告 数据,给业务制定关键词和广告投放策略提供数据支持。 责任描述:用python处理s3上的多种数据源(xlsx、csv、txt、json)并写入Mysql,再通过sqoop导入到hive,进行数仓建模和报表开发,最后将hive表数据写入clickhouse,和前后端联调展示在BI系统上。...

亚马逊商品关键词分析系统
亚马逊商品关键词分析系统
------ 加载完毕 ------
联系需求方端客服