该代码实现了一个基于Playwright和MongoDB的京东联盟商品数据采集系统,核心功能如下: 1. **MongoDB数据存储集成** - 使用`pymongo`建立本地数据库连接(`localhost:27017`) - 创建专用数据库`spider2505`和集合`jingdong001` - 设计结构化数据文档(店铺名称、到手价格等5个字段) 2. **浏览器自动化控制** - 通过`subprocess`启动带调试端口的Chrome浏览器(`--remote-debugging-port=7899`) - 使用Playwright的CD...
项目概述: 1、系统共交付了两个项目(南航和GAMECO),按子系统划分为:MRO生产系统、MRO云机务和MRO综合管理平台,按业务线划分为:航线、航材、工具、定检维修、附件维修、安全质量、市场销售、工卡系统以及公共模块,按业务功能可划分为:客户中心、产品中心、营销中心、工程中心、计划中心、资源中心、实施中心、安全质量中心和结算中心。 2、目前系统微服务总共有40多个,微前端有10多个,项目开发团队共有100人左右。 3、项目采用了springcloud alibaba微服务架构,技术栈包括,后端:RocketMQ、redis、seata、Elasticsearch等,前端:Qianku...
技术栈:SpringBoot、Mysql、Redis、Shiro、ETL 个人职责:负责该项目需求讨论、数据清洗、后端开发工作 项目背景:提供于港珠澳大桥穿梭巴士公司对于人工岛人流控制进行预测预警功能。依靠中国移动数据形成数据 分析大屏,协助巴士公司做班次调整的决策,以提供更快捷的服务。...