LLMTrace是一个基于OpenTelemetry的Go语言LLM应用可观测性SDK,专为大语言模型应用设计。在AI应用爆发的当下,如何监控和追踪LLM调用链路、分析token消耗、计算API成本,是每个AI工程团队面临的核心问题。 核心功能: OpenTelemetry原生集成:遵循gen_ai.*语义规范,自动生成span,支持OTLP协议导出到Jaeger、Prometheus等主流观测平台 多Provider支持:内置OpenAI、Anthropic、Gemini等主流LLM SDK的wrapper,一行代码即可接入追踪 成本追踪:自动计算每次API调用的USD成本,支持自定
GoShield是一个Go语言的统一弹性(Resilience)工具包,灵感来自Java的Resilience4j和.NET的Polly,为Go微服务提供生产级的容错能力。 在分布式系统中,服务间调用面临网络抖动、下游过载、瞬时故障等问题。GoShield提供了7种可组合的弹性模式: Circuit Breaker(熔断器):当下游错误率超过阈值时自动熔断,防止级联故障。支持Closed/Open/HalfOpen三种状态机 Retry(重试):支持固定间隔、指数退避、斐波那契退避三种策略,可配置最大重试次数和可重试错误类型 Rate Limiter(限流):令牌桶和滑动窗口两种实现,
LLMTrace是一个基于OpenTelemetry的Go语言LLM应用可观测性SDK,专为大语言模型应用设计。在AI应用爆发的当下,如何监控和追踪LLM调用链路、分析token消耗、计算API成本,是每个AI工程团队面临的核心问题。 核心功能: OpenTelemetry原生集成:遵循gen_ai.*语义规范,自动生成span,支持OTLP协议导出到Jaeger、Prometheus等主流观测平台 多Provider支持:内置OpenAI、Anthropic、Gemini等主流LLM SDK的wrapper,一行代码即可接入追踪 成本追踪:自动计算每次API调用的USD成本,支持自定...
GoShield是一个Go语言的统一弹性(Resilience)工具包,灵感来自Java的Resilience4j和.NET的Polly,为Go微服务提供生产级的容错能力。 在分布式系统中,服务间调用面临网络抖动、下游过载、瞬时故障等问题。GoShield提供了7种可组合的弹性模式: Circuit Breaker(熔断器):当下游错误率超过阈值时自动熔断,防止级联故障。支持Closed/Open/HalfOpen三种状态机 Retry(重试):支持固定间隔、指数退避、斐波那契退避三种策略,可配置最大重试次数和可重试错误类型 Rate Limiter(限流):令牌桶和滑动窗口两种实现,...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人