可观测性
用量与故障
每个请求产生一条用量记录。记录可在控制台查询,保留策略由你配置。
记录字段
- 请求
- 按路由、API Key、provider、模型、归属人
- Token
- 输入、输出、命中缓存、推理
- 延迟
- 平均、p95、首字节时间
- 错误
- 按失败分类与上游状态码
- 换号
- 按路由与按尝试
- 健康度
- 按凭据,实时状态
统计面板(示例)
最近 24 小时- 请求数
- 1,284,930
- 错误率
- 0.31%
- p99 延迟
- 1.42s
- Token
- 48.2M
+4.1%
-0.12%
+0.04s
+6.3%
延迟分布
p50p95p99
| 目标 | 流量占比 | 错误率 | 状态 |
|---|---|---|---|
| openai / gpt-6-sol | 52% | 0.18% | 服务中 |
| anthropic / claude-sonnet-5-5 | 31% | 0.24% | 服务中 |
| bedrock / claude-opus-5-5 | 14% | 1.10% | 降级 |
| azure / gpt-6-astra | 3% | — | 已暂停 |
示例数据,用于展示布局
先有故障记录,再有告警
Provider 故障落成 incident(原因、持续时长、尝试次数),告警钩子由同一批记录驱动。
导出方式
结构化日志与 Webhook。OpenTelemetry/OTLP 与 Prometheus 导出尚未实现。
凭据失效
401 会把凭据退役,直到管理员人工恢复;故障记录在此之前保持未解决。
限流或配额
凭据在配置的窗口内冷却,到期后自动回到选号。
恢复通知
探测成功后凭据回到轮转,可选地发送恢复通知。
投递
Webhook 投递带重试,并按 Provider 设置最小间隔,单个账号抖动不会刷屏。