Mi的案例列表
金融研究爬虫系统
1.立项背景和目标：需要对主流金融网站上的常见金融指标数据进行分析，需要获取实时的数据做量化分析 2.软件功能、核心功能模块的介绍：(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 （3）反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术 （4）数据库采用mongoldb,oracle,后端技术采用flask框架 3.业务流程、功能路径描述：爬取主流金融网站的数据、图片、excel文件、html信息，解析、提取、转换其中的数据并
亚马逊商品关键词分析系统
项目名称: 亚马逊商品关键词分析和广告搜索排名报表开发 软件架构：AWS+EMR+python+sqoop+mysql+hive+clickhouse+powerbi 项目描述： 负责开发公司亚马逊关键词的分析报表、商品广告自然搜素排名报表，分析对比公司商品与竞品的关键词和广告 数据，给业务制定关键词和广告投放策略提供数据支持。 责任描述：用python处理s3上的多种数据源（xlsx、csv、txt、json）并写入Mysql,再通过sqoop导入到hive，进行数仓建模和报表开发，最后将hive表数据写入clickhouse,和前后端联调展示在BI系统上。
案例判断参考
Mi的案例列表
金融研究爬虫系统
1.立项背景和目标：需要对主流金融网站上的常见金融指标数据进行分析，需要获取实时的数据做量化分析 2.软件功能、核心功能模块的介绍：(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 （3）反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术 （4）数据库采用mongoldb,oracle,后端技术采用flask框架 3.业务流程、功能路径描述：爬取主流金融网站的数据、图片、excel文件、html信息，解析、提取、转换其中的数据并...
亚马逊商品关键词分析系统
项目名称: 亚马逊商品关键词分析和广告搜索排名报表开发 软件架构：AWS+EMR+python+sqoop+mysql+hive+clickhouse+powerbi 项目描述： 负责开发公司亚马逊关键词的分析报表、商品广告自然搜素排名报表，分析对比公司商品与竞品的关键词和广告 数据，给业务制定关键词和广告投放策略提供数据支持。 责任描述：用python处理s3上的多种数据源（xlsx、csv、txt、json）并写入Mysql,再通过sqoop导入到hive，进行数仓建模和报表开发，最后将hive表数据写入clickhouse,和前后端联调展示在BI系统上。...
