LLMTrace-LLM可观测性SDK

金融 股票 案例ID:241920
向右
10 年经验· 同程旅游
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

LLMTrace是一个基于OpenTelemetry的Go语言LLM应用可观测性SDK,专为大语言模型应用设计。在AI应用爆发的当下,如何监控和追踪LLM调用链路、分析token消耗、计算API成本,是每个AI工程团队面临的核心问题。
核心功能:
OpenTelemetry原生集成:遵循gen_ai.*语义规范,自动生成span,支持OTLP协议导出到Jaeger、Prometheus等主流观测平台
多Provider支持:内置OpenAI、Anthropic、Gemini等主流LLM SDK的wrapper,一行代码即可接入追踪
成本追踪:自动计算每次API调用的USD成本,支持自定义价格表
流式响应追踪:完整支持SSE流式响应的trace采集,不丢失任何chunk
重试与限流:内置指数退避重试和令牌桶限流器,提升应用稳定性
Prometheus指标:内置/metrics端点,开箱即用的指标采集
技术栈:Go 1.22+、OpenTelemetry、Prometheus、Docker
个人负责:独立完成SDK架构设计、核心代码开发、CI/CD流水线配置、Go Reference文档编写。项目采用MIT协议开源,零外部依赖(仅依赖OpenTelemetry官方SDK)。

LLMTrace-LLM可观测性SDK

金融 · 股票 案例ID:241920
联系该工程师
微信扫码,建群沟通
作者: 向右 - 10年经验- 同程旅游

案例介绍

LLMTrace是一个基于OpenTelemetry的Go语言LLM应用可观测性SDK,专为大语言模型应用设计。在AI应用爆发的当下,如何监控和追踪LLM调用链路、分析token消耗、计算API成本,是每个AI工程团队面临的核心问题。
核心功能:
OpenTelemetry原生集成:遵循gen_ai.*语义规范,自动生成span,支持OTLP协议导出到Jaeger、Prometheus等主流观测平台
多Provider支持:内置OpenAI、Anthropic、Gemini等主流LLM SDK的wrapper,一行代码即可接入追踪
成本追踪:自动计算每次API调用的USD成本,支持自定义价格表
流式响应追踪:完整支持SSE流式响应的trace采集,不丢失任何chunk
重试与限流:内置指数退避重试和令牌桶限流器,提升应用稳定性
Prometheus指标:内置/metrics端点,开箱即用的指标采集
技术栈:Go 1.22+、OpenTelemetry、Prometheus、Docker
个人负责:独立完成SDK架构设计、核心代码开发、CI/CD流水线配置、Go Reference文档编写。项目采用MIT协议开源,零外部依赖(仅依赖OpenTelemetry官方SDK)。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×