项目:大模型服务平台
1、平台整合通用大模型与行业定制模型,实现模型统一纳管、版本迭代、一键发布与下线运营;内置完整调用计费、流量管控、访问鉴权体系,支持按量计费、限流熔断、调用监控审计,完成 AI 服务商业化运营闭环。搭载企业级 RAG 知识库能力,支持多格式文档解析、向量入库、数据标注、语义检索与智能问答,满足内部知识沉淀、智能咨询、业务辅助检索需求。
2、技术架构:通过网关统一接入与流量分发,集成Milvus向量数据库,支持文档切片、embedding生成与语义检索,为LLM提供知识增强;通过消息队列RocketMQ +多级缓存架构+Druid连接池实现海量调用日志记录,兼容MinIO和OBS文件存储;消息中间件RocketMQ、多级缓存等组件;完善日志采集、链路追踪、性能监控体系,实现模型推理、接口调用、知识库检索全流程可观测,支撑高并发推理请求与大规模知识库稳定检索;3个api节点支持并发1000+,可随节点数动态扩展并发能力。
我负责的部分:
1、负责平台核心架构设计与服务化改造,制定模型接入规范与 API 标准化方案,统一模型调用入口,降低业务系统对接成本。
2、主导企业私有 RAG 知识库模块研发,完成文档解析、文本切片、向量检索、上下文问答全流程功能开发,保障企业知识数据私有化、安全隔离。
3、牵头设计并实现模型计费统计、调用量统计、权限管控模块,优化计费结算逻辑,保障数据精准统计与业务合规运营。
4、负责模型部署调度、上下架生命周期管理,优化推理资源调度策略,解决高并发场景下推理延迟、资源抢占等问题,提升平台整体吞吐与响应性能。
项目2: 大数据交易平台
1、整体采用多机房异地多活部署架构,基于 GTM + 心跳机制完成节点健康检测与流量自动切换;网络架构按需差异化配置,通过三网低延迟带宽承载接口调用,大带宽专线对接交易业务,兼顾访问时延、传输性能与整体成本平衡,保障业务高效稳定运行。
2、项目整体拆分为交易平台、运维后台、调用链追踪、运营监控四大子系统,核心实现大数据产品 API 化封装、接口商品交易、按量计费与标准化数据服务输出;支持多数据源智能分流,系统稳定支撑1万+并发,横向扩容可持续提升承载能力,累计上架标准化数据接口产品1000 余款,已服务字节、华为、美团、小米、京东等国内逾万家知名企业。
3、技术架构:基于 Dubbo 微服务体系、Zookeeper 服务注册发现;通过 CLB+Nginx 实现多层负载均衡,依托 RocketMQ 完成跨机房计费数据同步、Canal 保障异地数据库实时同步;搭建本地缓存 + 分布式缓存 + 持久层三级缓存架构;整合 MinIO 对象存储、异地备份体系,结合 MongoDB、ClickHouse 完成配置管理与海量调用日志存储。
我负责的部分:
1、负责线上故障治理与稳定性保障,搭建问题库、知识库体系,常态化开展技术复盘与分享,将线上问题平均响应时长由3小时压缩至10分钟内,大幅提升问题处置效率。
2、主导各类重大技术方案设计与落地,牵头完成主机房不停服平滑迁移,全程无业务中断,最大限度降低架构调整对客户业务的影响。
3、深度优化数据源链路性能,排查解决第三方DNS解析异常、短连接不稳定等核心痛点,改造域名解析策略+长连接连接池架构,接口超时问题大幅改善,单客户日调用量由10万提升至50万,客户体验与业务营收显著提升。
4、主导部署架构、调用链全链路优化,重构服务与中间件部署拓扑,实现单节点宕机无业务影响,保障系统高可用;优化转发链路逻辑,链路整体耗时降低30%。
5、自主完成底层算法迭代优化,优化图片压缩算法,无硬件加速前提下大幅提升压缩效率,修复兼容问题,适配低成本传输通道,有效压降接口成本、提升项目毛利;扩展安全加密能力,新增多种加密算法,快速自学多门开发语言,补齐 C#/Go/PHP/Python 多语言加密工具包,全面提升跨语言客户对接能力。
6、高效完成亿级数据落地攻坚,3日内单独完成10亿级数据入库与实时查询服务全流程开发上线;低配服务器环境下,100并发平均响应9ms,500并发稳定可控,查询性能表现优异。