gsh
后端工程师
深圳市南伽科技 · 3年经验
日薪：
￥500/8h
地点：
深圳 福田
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 深入理解 python 语言编程，熟练运用装饰器、生成器、迭代器、上下文管理器，熟悉 asyncio 异步编程与内存管理垃圾回收，构建高性能、高可用的应用程序。
2. 熟悉Flask、FastAPI、Django框架，掌握应用工厂模式、RESTful API 设计、SQLAlchemy 数据优化、JWT 认证及中间件定制，具备 RESTful API 架构设计与企业级后端系统开发经验。
3. 熟悉 LangGraph + LangChain 构建 LLM 应用，支持多 Agent 编排、Tools/Skills 注册管理、MCP 协议工具扩展；结合向量数据库与全文搜索引擎构建混合检索管线，实现智能问答、结构化报告生成及 JSON 输出落库。
4. 熟悉 AI 记忆系统架构设计，掌握短期/长期记忆转换、存取淘汰策略与 Mem0、Letta等框架；结合向量数据库实现语义检索与跨会话记忆复用，保障多轮对话的上下文延续性与信息一致性。
5. 熟悉 RAG 知识检索增强技术，掌握文档解析、文本分片、向量化入库及混合召回策略；熟练掌握 RAG-Fusion 多查询融合、Cross-Encoder 重排与上下文精炼，有效解决检索噪声与 Token 窗口膨胀问题。
6. 熟悉 Celery 异步任务与 Airflow 工作流调度，掌握任务分片、幂等设计、指数退避重试与状态机追踪，具备异步场景下的事务解耦与最终一致性保障经验。
7. 掌握 MySQL 架构设计、索引优化、SQL 性能调优及事务管理；熟悉 Redis 分布式锁、缓存优化与消息队列，保障分布式系统高可用。
8. 熟悉 Scrap、Playwright、BS4等爬虫技术；掌握动态渲染页面处理、验证码通关、代理池管理、逆向，保证抓取完整性与成功率，可使用影刀快速实现临时爬虫任务。
9. 熟悉 Linux 运维与 Shell 脚本，掌握 Nginx、Supervisor 部署及 Docker 容器化管理，支持高可用架构、版本管理与快速发布。
10. 熟悉阿里云、腾讯云等云服务、OSS、CDN、短信及支付 API，支持分布式存储、内容分发及多场景支付开发。
11. 熟悉电商后台业务，具备亚马逊、沃尔玛平台对接经验：掌握订单、库存、物流等跨境贸易全链路业务流程，熟悉分页拉取、增量/全量同步、Webhook、限流、重试与签名鉴权等通用对接机制。
12. 具备沃尔玛 EDI 对接经验：熟悉 ANSI X12 标准下的核心业务报文；了解 AS2 / SFTP 传输协议下的报文收发、解析与系统集成流程，掌握供应商与 Walmart 之间从订单接收、发货通知到发票结算的 EDI 全链路协同。
13. 熟悉亚马逊广告体系与运营逻辑：了解广告多层级投放模型，掌握广告指标及策略应用，具备基于表现数据的自动管理广告的设计经验。
2. 熟悉Flask、FastAPI、Django框架，掌握应用工厂模式、RESTful API 设计、SQLAlchemy 数据优化、JWT 认证及中间件定制，具备 RESTful API 架构设计与企业级后端系统开发经验。
3. 熟悉 LangGraph + LangChain 构建 LLM 应用，支持多 Agent 编排、Tools/Skills 注册管理、MCP 协议工具扩展；结合向量数据库与全文搜索引擎构建混合检索管线，实现智能问答、结构化报告生成及 JSON 输出落库。
4. 熟悉 AI 记忆系统架构设计，掌握短期/长期记忆转换、存取淘汰策略与 Mem0、Letta等框架；结合向量数据库实现语义检索与跨会话记忆复用，保障多轮对话的上下文延续性与信息一致性。
5. 熟悉 RAG 知识检索增强技术，掌握文档解析、文本分片、向量化入库及混合召回策略；熟练掌握 RAG-Fusion 多查询融合、Cross-Encoder 重排与上下文精炼，有效解决检索噪声与 Token 窗口膨胀问题。
6. 熟悉 Celery 异步任务与 Airflow 工作流调度，掌握任务分片、幂等设计、指数退避重试与状态机追踪，具备异步场景下的事务解耦与最终一致性保障经验。
7. 掌握 MySQL 架构设计、索引优化、SQL 性能调优及事务管理；熟悉 Redis 分布式锁、缓存优化与消息队列，保障分布式系统高可用。
8. 熟悉 Scrap、Playwright、BS4等爬虫技术；掌握动态渲染页面处理、验证码通关、代理池管理、逆向，保证抓取完整性与成功率，可使用影刀快速实现临时爬虫任务。
9. 熟悉 Linux 运维与 Shell 脚本，掌握 Nginx、Supervisor 部署及 Docker 容器化管理，支持高可用架构、版本管理与快速发布。
10. 熟悉阿里云、腾讯云等云服务、OSS、CDN、短信及支付 API，支持分布式存储、内容分发及多场景支付开发。
11. 熟悉电商后台业务，具备亚马逊、沃尔玛平台对接经验：掌握订单、库存、物流等跨境贸易全链路业务流程，熟悉分页拉取、增量/全量同步、Webhook、限流、重试与签名鉴权等通用对接机制。
12. 具备沃尔玛 EDI 对接经验：熟悉 ANSI X12 标准下的核心业务报文；了解 AS2 / SFTP 传输协议下的报文收发、解析与系统集成流程，掌握供应商与 Walmart 之间从订单接收、发货通知到发票结算的 EDI 全链路协同。
13. 熟悉亚马逊广告体系与运营逻辑：了解广告多层级投放模型，掌握广告指标及策略应用，具备基于表现数据的自动管理广告的设计经验。
项目经验
Infiai AI 平台
1. 项目概况
本项目为企业级多 Agent AI 平台，基于 FastAPI + LangGraph + Celery 构建，支持多 Agent 协作、流式对话与异步任务调度。平台涵盖 LLM 网关代理、三层记忆架构、RAG 知识检索增强、权限安全体系等核心模块，后端以 PostgreSQL + pgvector 为向量存储、Redis 为缓存与会话层、Celery 负责异步任务编排。项目从 0 到 1 完成架构设计与核心系统交付，验证多Agent 协作、记忆管理与 RAG 增强全链路可行性。
2. 我的分工
（1）Agent 运行时引擎与管线优化
- 参与 Pipeline 管线工厂与 SSE 流式响应通道建设，承担 Agent 请求路由、上下文装配与事件推送的开发与联调。
- 参与构建统一上下文引擎，按需聚合短期消息、长期向量检索、知识库 RAG、用户画像等多层上下文，结合动态 Token 估算与裁剪机制，防止超出 LLM
窗口上限导致关键信息截断。
- 实现复杂任务 Plan 模式，支持 Agent 将复杂任务拆解为多步执行计划，引入工具结果缓存减少重复 LLM 调用，配置 MCP 超时保护防止任务卡死。
- 推动多项性能优化：推理循环消除冗余复制、会话增量持久化、I/O 并行化缩短首 Token 延迟；Function Calling 替代 Prompt 硬编码工具描述节省 Token用量；网关层实现语义缓存，相似查询直接返回缓存结果，降低 API 重复调用成本。
（2）记忆系统 + RAG 检索增强
记忆系统：
- 搭建三层记忆架构：短期记忆基于 Redis 自研 LRU 缓存结构，设计时间优先与评分优先双轨淘汰策略；长期记忆基于 pgvector 向量存储，设计时间衰减淘汰引擎，综合访问频次与语义相关度评分进行智能淘汰。
- 设计短→长记忆迁移机制，通过 LLM 萃取会话中的关键偏好与事实，自动 Embedding 后持久化落库，支持用户级、Agent级、全局级三级共享可见范围，实现记忆跨会话精细隔离与复用。
- 后期主导记忆系统向 Mem0 全面迁移，配置自动降级容错与多维度过滤，检索性能明显提升的同时消除自建向量存储运维成本。
RAG 知识检索增强：
- 搭建多格式文档解析引擎，支持 PDF、DOCX、Markdown、JSON、CSV 等格式的段落边界感知智能分片与向量化入库。
- 基于 pgvector HNSW 索引 + PostgreSQL 全文搜索构建向量与关键词双通道混合召回，集成 RBAC 模型进行三级可见范围的权限过滤。
- 主导 RAG-Fusion 方案设计：通过多意图变体查询拓宽检索覆盖面，采用 RRF 粗筛 + Cross-Encoder 重排 + 动态分数阈值深度去噪，结合 Token 熔断机制防止检索结果过多导致 LLM 输入窗口膨胀。
（3）Agent 工具链与 MCP 协议扩展
- 主导 MCP（Model Context Protocol）协议的接入与分层架构重构，将工具注册、权限校验、生命周期管理抽象为独立层，支撑 Agent 按需挂载外部工具。
- 集成 Epixa MCP、SIF-MCP、Playwright MCP 等多套外部工具，为 MCP 设计 Hooks 机制实现结果后处理（如截图自动上传阿里云 OSS）。
- 独立完成市场调研 Agent 的产品化落地：遵循平台 Agent 基类与自动注册机制，设计智能双模式响应策略，覆盖平台/品牌/趋势/竞品四大场景，内嵌权威溯源机制降低 LLM 幻觉风险。
(4) 参与邮件分类大模型的微调调研，基于阿里云百炼平台对 Qwen-7B 模型进行 SFT，实现邮件意图的多层级分类，验证大模型微调方案在跨境电商客服邮件场景下的可行性。
亚马逊商品数据爬虫集群
1. 项目概况
本项目为亚马逊多站点数据采集与监控系统，采用 Scrapy/Scrapyd + Redis + MySQL 的分布式爬虫集群架构，覆盖 US/UK/DE 等共计 9 个站点、14 种爬虫，涵盖商品详情、关联推荐/广告、BSR 榜单、评论、卖家信息、广告关键词排名、分类品牌榜单等核心数据维度。集群拓扑：1 个主节点负责 URL 生成与任务编排，2 个从节点并行消费 Redis 队列；由 Airflow 定时触发生成任务，7 条 Pipeline 分流写入 5 套独立 MySQL 数据库，其中广告关键词 Pipeline 同时通过 HTTP API 双写到 HBase。针对强动态与反爬场景，引入 Playwright 无头浏览器与住宅代理池，并在 AmazonSpider 公共基类
1. 项目概况
本项目为企业级多 Agent AI 平台，基于 FastAPI + LangGraph + Celery 构建，支持多 Agent 协作、流式对话与异步任务调度。平台涵盖 LLM 网关代理、三层记忆架构、RAG 知识检索增强、权限安全体系等核心模块，后端以 PostgreSQL + pgvector 为向量存储、Redis 为缓存与会话层、Celery 负责异步任务编排。项目从 0 到 1 完成架构设计与核心系统交付，验证多Agent 协作、记忆管理与 RAG 增强全链路可行性。
2. 我的分工
（1）Agent 运行时引擎与管线优化
- 参与 Pipeline 管线工厂与 SSE 流式响应通道建设，承担 Agent 请求路由、上下文装配与事件推送的开发与联调。
- 参与构建统一上下文引擎，按需聚合短期消息、长期向量检索、知识库 RAG、用户画像等多层上下文，结合动态 Token 估算与裁剪机制，防止超出 LLM
窗口上限导致关键信息截断。
- 实现复杂任务 Plan 模式，支持 Agent 将复杂任务拆解为多步执行计划，引入工具结果缓存减少重复 LLM 调用，配置 MCP 超时保护防止任务卡死。
- 推动多项性能优化：推理循环消除冗余复制、会话增量持久化、I/O 并行化缩短首 Token 延迟；Function Calling 替代 Prompt 硬编码工具描述节省 Token用量；网关层实现语义缓存，相似查询直接返回缓存结果，降低 API 重复调用成本。
（2）记忆系统 + RAG 检索增强
记忆系统：
- 搭建三层记忆架构：短期记忆基于 Redis 自研 LRU 缓存结构，设计时间优先与评分优先双轨淘汰策略；长期记忆基于 pgvector 向量存储，设计时间衰减淘汰引擎，综合访问频次与语义相关度评分进行智能淘汰。
- 设计短→长记忆迁移机制，通过 LLM 萃取会话中的关键偏好与事实，自动 Embedding 后持久化落库，支持用户级、Agent级、全局级三级共享可见范围，实现记忆跨会话精细隔离与复用。
- 后期主导记忆系统向 Mem0 全面迁移，配置自动降级容错与多维度过滤，检索性能明显提升的同时消除自建向量存储运维成本。
RAG 知识检索增强：
- 搭建多格式文档解析引擎，支持 PDF、DOCX、Markdown、JSON、CSV 等格式的段落边界感知智能分片与向量化入库。
- 基于 pgvector HNSW 索引 + PostgreSQL 全文搜索构建向量与关键词双通道混合召回，集成 RBAC 模型进行三级可见范围的权限过滤。
- 主导 RAG-Fusion 方案设计：通过多意图变体查询拓宽检索覆盖面，采用 RRF 粗筛 + Cross-Encoder 重排 + 动态分数阈值深度去噪，结合 Token 熔断机制防止检索结果过多导致 LLM 输入窗口膨胀。
（3）Agent 工具链与 MCP 协议扩展
- 主导 MCP（Model Context Protocol）协议的接入与分层架构重构，将工具注册、权限校验、生命周期管理抽象为独立层，支撑 Agent 按需挂载外部工具。
- 集成 Epixa MCP、SIF-MCP、Playwright MCP 等多套外部工具，为 MCP 设计 Hooks 机制实现结果后处理（如截图自动上传阿里云 OSS）。
- 独立完成市场调研 Agent 的产品化落地：遵循平台 Agent 基类与自动注册机制，设计智能双模式响应策略，覆盖平台/品牌/趋势/竞品四大场景，内嵌权威溯源机制降低 LLM 幻觉风险。
(4) 参与邮件分类大模型的微调调研，基于阿里云百炼平台对 Qwen-7B 模型进行 SFT，实现邮件意图的多层级分类，验证大模型微调方案在跨境电商客服邮件场景下的可行性。
亚马逊商品数据爬虫集群
1. 项目概况
本项目为亚马逊多站点数据采集与监控系统，采用 Scrapy/Scrapyd + Redis + MySQL 的分布式爬虫集群架构，覆盖 US/UK/DE 等共计 9 个站点、14 种爬虫，涵盖商品详情、关联推荐/广告、BSR 榜单、评论、卖家信息、广告关键词排名、分类品牌榜单等核心数据维度。集群拓扑：1 个主节点负责 URL 生成与任务编排，2 个从节点并行消费 Redis 队列；由 Airflow 定时触发生成任务，7 条 Pipeline 分流写入 5 套独立 MySQL 数据库，其中广告关键词 Pipeline 同时通过 HTTP API 双写到 HBase。针对强动态与反爬场景，引入 Playwright 无头浏览器与住宅代理池，并在 AmazonSpider 公共基类
ID:428112
复制
gsh
后端工程师 · 3年经验 · 深圳市南伽科技
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 深入理解 python 语言编程，熟练运用装饰器、生成器、迭代器、上下文管理器，熟悉 asyncio 异步编程与内存管理垃圾回收，构建高性能、高可用的应用程序。
2. 熟悉Flask、FastAPI、Django框架，掌握应用工厂模式、RESTful API 设计、SQLAlchemy 数据优化、JWT 认证及中间件定制，具备 RESTful API 架构设计与企业级后端系统开发经验。
3. 熟悉 LangGraph + LangChain 构建 LLM 应用，支持多 Agent 编排、Tools/Skills 注册管理、MCP 协议工具扩展；结合向量数据库与全文搜索引擎构建混合检索管线，实现智能问答、结构化报告生成及 JSON 输出落库。
4. 熟悉 AI 记忆系统架构设计，掌握短期/长期记忆转换、存取淘汰策略与 Mem0、Letta等框架；结合向量数据库实现语义检索与跨会话记忆复用，保障多轮对话的上下文延续性与信息一致性。
5. 熟悉 RAG 知识检索增强技术，掌握文档解析、文本分片、向量化入库及混合召回策略；熟练掌握 RAG-Fusion 多查询融合、Cross-Encoder 重排与上下文精炼，有效解决检索噪声与 Token 窗口膨胀问题。
6. 熟悉 Celery 异步任务与 Airflow 工作流调度，掌握任务分片、幂等设计、指数退避重试与状态机追踪，具备异步场景下的事务解耦与最终一致性保障经验。
7. 掌握 MySQL 架构设计、索引优化、SQL 性能调优及事务管理；熟悉 Redis 分布式锁、缓存优化与消息队列，保障分布式系统高可用。
8. 熟悉 Scrap、Playwright、BS4等爬虫技术；掌握动态渲染页面处理、验证码通关、代理池管理、逆向，保证抓取完整性与成功率，可使用影刀快速实现临时爬虫任务。
9. 熟悉 Linux 运维与 Shell 脚本，掌握 Nginx、Supervisor 部署及 Docker 容器化管理，支持高可用架构、版本管理与快速发布。
10. 熟悉阿里云、腾讯云等云服务、OSS、CDN、短信及支付 API，支持分布式存储、内容分发及多场景支付开发。
11. 熟悉电商后台业务，具备亚马逊、沃尔玛平台对接经验：掌握订单、库存、物流等跨境贸易全链路业务流程，熟悉分页拉取、增量/全量同步、Webhook、限流、重试与签名鉴权等通用对接机制。
12. 具备沃尔玛 EDI 对接经验：熟悉 ANSI X12 标准下的核心业务报文；了解 AS2 / SFTP 传输协议下的报文收发、解析与系统集成流程，掌握供应商与 Walmart 之间从订单接收、发货通知到发票结算的 EDI 全链路协同。
13. 熟悉亚马逊广告体系与运营逻辑：了解广告多层级投放模型，掌握广告指标及策略应用，具备基于表现数据的自动管理广告的设计经验。
2. 熟悉Flask、FastAPI、Django框架，掌握应用工厂模式、RESTful API 设计、SQLAlchemy 数据优化、JWT 认证及中间件定制，具备 RESTful API 架构设计与企业级后端系统开发经验。
3. 熟悉 LangGraph + LangChain 构建 LLM 应用，支持多 Agent 编排、Tools/Skills 注册管理、MCP 协议工具扩展；结合向量数据库与全文搜索引擎构建混合检索管线，实现智能问答、结构化报告生成及 JSON 输出落库。
4. 熟悉 AI 记忆系统架构设计，掌握短期/长期记忆转换、存取淘汰策略与 Mem0、Letta等框架；结合向量数据库实现语义检索与跨会话记忆复用，保障多轮对话的上下文延续性与信息一致性。
5. 熟悉 RAG 知识检索增强技术，掌握文档解析、文本分片、向量化入库及混合召回策略；熟练掌握 RAG-Fusion 多查询融合、Cross-Encoder 重排与上下文精炼，有效解决检索噪声与 Token 窗口膨胀问题。
6. 熟悉 Celery 异步任务与 Airflow 工作流调度，掌握任务分片、幂等设计、指数退避重试与状态机追踪，具备异步场景下的事务解耦与最终一致性保障经验。
7. 掌握 MySQL 架构设计、索引优化、SQL 性能调优及事务管理；熟悉 Redis 分布式锁、缓存优化与消息队列，保障分布式系统高可用。
8. 熟悉 Scrap、Playwright、BS4等爬虫技术；掌握动态渲染页面处理、验证码通关、代理池管理、逆向，保证抓取完整性与成功率，可使用影刀快速实现临时爬虫任务。
9. 熟悉 Linux 运维与 Shell 脚本，掌握 Nginx、Supervisor 部署及 Docker 容器化管理，支持高可用架构、版本管理与快速发布。
10. 熟悉阿里云、腾讯云等云服务、OSS、CDN、短信及支付 API，支持分布式存储、内容分发及多场景支付开发。
11. 熟悉电商后台业务，具备亚马逊、沃尔玛平台对接经验：掌握订单、库存、物流等跨境贸易全链路业务流程，熟悉分页拉取、增量/全量同步、Webhook、限流、重试与签名鉴权等通用对接机制。
12. 具备沃尔玛 EDI 对接经验：熟悉 ANSI X12 标准下的核心业务报文；了解 AS2 / SFTP 传输协议下的报文收发、解析与系统集成流程，掌握供应商与 Walmart 之间从订单接收、发货通知到发票结算的 EDI 全链路协同。
13. 熟悉亚马逊广告体系与运营逻辑：了解广告多层级投放模型，掌握广告指标及策略应用，具备基于表现数据的自动管理广告的设计经验。
项目经验
Infiai AI 平台
1. 项目概况
本项目为企业级多 Agent AI 平台，基于 FastAPI + LangGraph + Celery 构建，支持多 Agent 协作、流式对话与异步任务调度。平台涵盖 LLM 网关代理、三层记忆架构、RAG 知识检索增强、权限安全体系等核心模块，后端以 PostgreSQL + pgvector 为向量存储、Redis 为缓存与会话层、Celery 负责异步任务编排。项目从 0 到 1 完成架构设计与核心系统交付，验证多Agent 协作、记忆管理与 RAG 增强全链路可行性。
2. 我的分工
（1）Agent 运行时引擎与管线优化
- 参与 Pipeline 管线工厂与 SSE 流式响应通道建设，承担 Agent 请求路由、上下文装配与事件推送的开发与联调。
- 参与构建统一上下文引擎，按需聚合短期消息、长期向量检索、知识库 RAG、用户画像等多层上下文，结合动态 Token 估算与裁剪机制，防止超出 LLM
窗口上限导致关键信息截断。
- 实现复杂任务 Plan 模式，支持 Agent 将复杂任务拆解为多步执行计划，引入工具结果缓存减少重复 LLM 调用，配置 MCP 超时保护防止任务卡死。
- 推动多项性能优化：推理循环消除冗余复制、会话增量持久化、I/O 并行化缩短首 Token 延迟；Function Calling 替代 Prompt 硬编码工具描述节省 Token用量；网关层实现语义缓存，相似查询直接返回缓存结果，降低 API 重复调用成本。
（2）记忆系统 + RAG 检索增强
记忆系统：
- 搭建三层记忆架构：短期记忆基于 Redis 自研 LRU 缓存结构，设计时间优先与评分优先双轨淘汰策略；长期记忆基于 pgvector 向量存储，设计时间衰减淘汰引擎，综合访问频次与语义相关度评分进行智能淘汰。
- 设计短→长记忆迁移机制，通过 LLM 萃取会话中的关键偏好与事实，自动 Embedding 后持久化落库，支持用户级、Agent级、全局级三级共享可见范围，实现记忆跨会话精细隔离与复用。
- 后期主导记忆系统向 Mem0 全面迁移，配置自动降级容错与多维度过滤，检索性能明显提升的同时消除自建向量存储运维成本。
RAG 知识检索增强：
- 搭建多格式文档解析引擎，支持 PDF、DOCX、Markdown、JSON、CSV 等格式的段落边界感知智能分片与向量化入库。
- 基于 pgvector HNSW 索引 + PostgreSQL 全文搜索构建向量与关键词双通道混合召回，集成 RBAC 模型进行三级可见范围的权限过滤。
- 主导 RAG-Fusion 方案设计：通过多意图变体查询拓宽检索覆盖面，采用 RRF 粗筛 + Cross-Encoder 重排 + 动态分数阈值深度去噪，结合 Token 熔断机制防止检索结果过多导致 LLM 输入窗口膨胀。
（3）Agent 工具链与 MCP 协议扩展
- 主导 MCP（Model Context Protocol）协议的接入与分层架构重构，将工具注册、权限校验、生命周期管理抽象为独立层，支撑 Agent 按需挂载外部工具。
- 集成 Epixa MCP、SIF-MCP、Playwright MCP 等多套外部工具，为 MCP 设计 Hooks 机制实现结果后处理（如截图自动上传阿里云 OSS）。
- 独立完成市场调研 Agent 的产品化落地：遵循平台 Agent 基类与自动注册机制，设计智能双模式响应策略，覆盖平台/品牌/趋势/竞品四大场景，内嵌权威溯源机制降低 LLM 幻觉风险。
(4) 参与邮件分类大模型的微调调研，基于阿里云百炼平台对 Qwen-7B 模型进行 SFT，实现邮件意图的多层级分类，验证大模型微调方案在跨境电商客服邮件场景下的可行性。
亚马逊商品数据爬虫集群
1. 项目概况
本项目为亚马逊多站点数据采集与监控系统，采用 Scrapy/Scrapyd + Redis + MySQL 的分布式爬虫集群架构，覆盖 US/UK/DE 等共计 9 个站点、14 种爬虫，涵盖商品详情、关联推荐/广告、BSR 榜单、评论、卖家信息、广告关键词排名、分类品牌榜单等核心数据维度。集群拓扑：1 个主节点负责 URL 生成与任务编排，2 个从节点并行消费 Redis 队列；由 Airflow 定时触发生成任务，7 条 Pipeline 分流写入 5 套独立 MySQL 数据库，其中广告关键词 Pipeline 同时通过 HTTP API 双写到 HBase。针对强动态与反爬场景，引入 Playwright 无头浏览器与住宅代理池，并在 AmazonSpider 公共基类
1. 项目概况
本项目为企业级多 Agent AI 平台，基于 FastAPI + LangGraph + Celery 构建，支持多 Agent 协作、流式对话与异步任务调度。平台涵盖 LLM 网关代理、三层记忆架构、RAG 知识检索增强、权限安全体系等核心模块，后端以 PostgreSQL + pgvector 为向量存储、Redis 为缓存与会话层、Celery 负责异步任务编排。项目从 0 到 1 完成架构设计与核心系统交付，验证多Agent 协作、记忆管理与 RAG 增强全链路可行性。
2. 我的分工
（1）Agent 运行时引擎与管线优化
- 参与 Pipeline 管线工厂与 SSE 流式响应通道建设，承担 Agent 请求路由、上下文装配与事件推送的开发与联调。
- 参与构建统一上下文引擎，按需聚合短期消息、长期向量检索、知识库 RAG、用户画像等多层上下文，结合动态 Token 估算与裁剪机制，防止超出 LLM
窗口上限导致关键信息截断。
- 实现复杂任务 Plan 模式，支持 Agent 将复杂任务拆解为多步执行计划，引入工具结果缓存减少重复 LLM 调用，配置 MCP 超时保护防止任务卡死。
- 推动多项性能优化：推理循环消除冗余复制、会话增量持久化、I/O 并行化缩短首 Token 延迟；Function Calling 替代 Prompt 硬编码工具描述节省 Token用量；网关层实现语义缓存，相似查询直接返回缓存结果，降低 API 重复调用成本。
（2）记忆系统 + RAG 检索增强
记忆系统：
- 搭建三层记忆架构：短期记忆基于 Redis 自研 LRU 缓存结构，设计时间优先与评分优先双轨淘汰策略；长期记忆基于 pgvector 向量存储，设计时间衰减淘汰引擎，综合访问频次与语义相关度评分进行智能淘汰。
- 设计短→长记忆迁移机制，通过 LLM 萃取会话中的关键偏好与事实，自动 Embedding 后持久化落库，支持用户级、Agent级、全局级三级共享可见范围，实现记忆跨会话精细隔离与复用。
- 后期主导记忆系统向 Mem0 全面迁移，配置自动降级容错与多维度过滤，检索性能明显提升的同时消除自建向量存储运维成本。
RAG 知识检索增强：
- 搭建多格式文档解析引擎，支持 PDF、DOCX、Markdown、JSON、CSV 等格式的段落边界感知智能分片与向量化入库。
- 基于 pgvector HNSW 索引 + PostgreSQL 全文搜索构建向量与关键词双通道混合召回，集成 RBAC 模型进行三级可见范围的权限过滤。
- 主导 RAG-Fusion 方案设计：通过多意图变体查询拓宽检索覆盖面，采用 RRF 粗筛 + Cross-Encoder 重排 + 动态分数阈值深度去噪，结合 Token 熔断机制防止检索结果过多导致 LLM 输入窗口膨胀。
（3）Agent 工具链与 MCP 协议扩展
- 主导 MCP（Model Context Protocol）协议的接入与分层架构重构，将工具注册、权限校验、生命周期管理抽象为独立层，支撑 Agent 按需挂载外部工具。
- 集成 Epixa MCP、SIF-MCP、Playwright MCP 等多套外部工具，为 MCP 设计 Hooks 机制实现结果后处理（如截图自动上传阿里云 OSS）。
- 独立完成市场调研 Agent 的产品化落地：遵循平台 Agent 基类与自动注册机制，设计智能双模式响应策略，覆盖平台/品牌/趋势/竞品四大场景，内嵌权威溯源机制降低 LLM 幻觉风险。
(4) 参与邮件分类大模型的微调调研，基于阿里云百炼平台对 Qwen-7B 模型进行 SFT，实现邮件意图的多层级分类，验证大模型微调方案在跨境电商客服邮件场景下的可行性。
亚马逊商品数据爬虫集群
1. 项目概况
本项目为亚马逊多站点数据采集与监控系统，采用 Scrapy/Scrapyd + Redis + MySQL 的分布式爬虫集群架构，覆盖 US/UK/DE 等共计 9 个站点、14 种爬虫，涵盖商品详情、关联推荐/广告、BSR 榜单、评论、卖家信息、广告关键词排名、分类品牌榜单等核心数据维度。集群拓扑：1 个主节点负责 URL 生成与任务编排，2 个从节点并行消费 Redis 队列；由 Airflow 定时触发生成任务，7 条 Pipeline 分流写入 5 套独立 MySQL 数据库，其中广告关键词 Pipeline 同时通过 HTTP API 双写到 HBase。针对强动态与反爬场景，引入 Playwright 无头浏览器与住宅代理池，并在 AmazonSpider 公共基类
案例展示
立即沟通
相似人才推荐：
上海嵌入式与AI应用开发工程师 (上海熙凌电器有限公司) ，15年经验 ，800元/天
天津总线工程师 (腾讯文旅江苏文投集团项目) ，3年经验 ，500元/天
成都高级架构师，全栈工程师 (电信) ，5年经验 ，500元/天
北京全栈工程师 (凯捷科技研发) ，6年经验 ，700元/天
上海python开发工程师 (上海金证股份有限公司) ，9年经验 ，500元/天
广州Python自动化与数据采集工程师 (独立开发者) ，1年经验 ，600元/天
上海高级软件工程师 (上海一嗨信息技术服务有限公司) ，14年经验 ，500元/天
其他Python 脚本开发 (无) ，1年经验 ，500元/天
