LLMTrace-LLM可观测性SDK

基本信息

案例ID:241920

技术顾问:向右 - 10年经验 - 同程旅游

联系沟通

微信扫码,建群沟通

项目名称:LLMTrace-LLM可观测性SDK

所属行业:金融 - 股票

->查看更多案例

案例介绍

LLMTrace是一个基于OpenTelemetry的Go语言LLM应用可观测性SDK,专为大语言模型应用设计。在AI应用爆发的当下,如何监控和追踪LLM调用链路、分析token消耗、计算API成本,是每个AI工程团队面临的核心问题。
核心功能:
OpenTelemetry原生集成:遵循gen_ai.*语义规范,自动生成span,支持OTLP协议导出到Jaeger、Prometheus等主流观测平台
多Provider支持:内置OpenAI、Anthropic、Gemini等主流LLM SDK的wrapper,一行代码即可接入追踪
成本追踪:自动计算每次API调用的USD成本,支持自定义价格表
流式响应追踪:完整支持SSE流式响应的trace采集,不丢失任何chunk
重试与限流:内置指数退避重试和令牌桶限流器,提升应用稳定性
Prometheus指标:内置/metrics端点,开箱即用的指标采集
技术栈:Go 1.22+、OpenTelemetry、Prometheus、Docker
个人负责:独立完成SDK架构设计、核心代码开发、CI/CD流水线配置、Go Reference文档编写。项目采用MIT协议开源,零外部依赖(仅依赖OpenTelemetry官方SDK)。

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服