公司在数据管理查询方面例如订单公司公告等数据杂乱存储不便,agent开发后设立专门知识库数据库rag检索查寻数据等一键完成甚至直接处理成表格等形 知识库数据库定点更新,每次查询都有logs管理,查询结束自动生成交付物可编辑,页面显示历史查询可显示记录,单次查询无记忆系统,接入搜索、网页浏览、文件解析、代码执行、报告生成等工具模块,并优化调用逻辑与异常处理,调整 Prompt 结构、角色设定、任务规划规则与输出格式,降低回答偏差,提高连续任务跟踪能力 codex,Claude code,python,前两者写初始框架确定langg,python做数据爬取等不可控操作...
技术栈:Python、Scrapy、Playwright、Redis、MySQL、ProxyPool、多线程 / 异步协程 负责分布式爬虫系统的设计与开发,针对行业资讯、公开商业数据进行常态化采集。基于异步协程与多线程提升爬取效率,使用 Playwright 处理动态渲染页面、反爬验证与人机校验;搭建代理池与请求频率控制策略,配合 UA 伪装、Cookie 池规避站点反爬机制。采用 Redis 实现爬虫任务分发、去重与断点续爬,避免重复采集与任务中断问题。设计数据清洗、格式转换、脏数据过滤逻辑,结构化数据落地至 MySQL 数据库。项目稳定运行,日均采集数据量超 20 万条,爬取成功率稳定在...
1 医保服务平台: 完成定点医疗机构/定点零售药店/医保机构等十一个服务数据迁移,使用阿里云数据中台DataWorks创建任务定时把数据抽取到数仓中,然后通过任务把数仓中的数据抽到ES中,这样服务平台查询对应服务数据。 主要担当的角色是: 1、梳理阿里云/腾讯云分布式数据库的流程,与第三方项目对接; 2、梳理医保APP调用链路; 3、医保APP公共查询dataworks离线任务、里约网关接口开发; 4、客诉工单问题修复...
本作品为基于 Kafka 和 Spark 的空气质量实时监测与预测系统,我独立完成从需求分析、架构设计到全流程开发与测试工作。系统采用大数据实时处理架构,通过 Requests 多线程采集全国 342 个城市空气质量数据,经 Kafka 消息队列实现高吞吐、低延迟的数据流传输,利用 Spark Streaming 完成实时清洗、聚合与统计分析,结果存入 MySQL 数据库。 系统集成随机森林回归算法构建 AQI 预测模型,结合 StandardScaler 完成特征标准化,实现未来一天空气质量智能预测。基于 Flask 搭建后端服务,使用 Echarts 实现数据大屏可视化,支持 AQI 热...
行业场景: 针对道路、园区出入口场景,实现车辆目标检测、车牌定位、车牌字符识别全流程视觉方案,适配常规单层车牌、双层黄牌等各类场景。 功能介绍: 基于Jetson/rknn开发板搭建一套端到端的车辆与车牌智能检测识别系统,兼容市面主流蓝牌、绿牌、黄绿牌、单层黄牌及货车双层黄牌车牌、白牌,主要功能如下: 1. 车辆检测:实现对画面中车辆的目标检测功能,识别车辆位置 2. 车牌检测与识别:识别车牌位置并进行车牌检测,输出车牌识别结果 项目实现: 1. 各省份及型号车牌数据的收集及自动化生成,基于已有条件完善和均衡车牌数据 2. 车辆检测算法/车牌检测算法/车牌识别算法的选型对比,各...