详细解释
SLA(Service Level Agreement,服务等级协议) 是 API 行业通行的”服务质量保证书”。对普通开发者,大多数 SaaS 平台的 SLA 是你点了”我同意”但可能从没读过的 ToS 里的一段;对年付数十万以上的企业客户,SLA 是签在合同里、附带着真金白银退款条款的硬约束。
AI API 领域的 SLA 核心指标(和传统 Web API 有所不同)一般是下面 4 件事:
| # | 指标 | 典型承诺值(Pro Tier) | 计算口径 |
|---|---|---|---|
| 1 | 月度服务可用性(Availability) | 99.5% – 99.9% | 1 - (月度错误请求 5xx 总数 / 总请求数)。注意:HTTP 429(你自己超限)、401(你的 Key 错)一般不算 SLA 失败 |
| 2 | TTFT P95(非流式可用首响应时间 P95 代替) | 非流式 P95 < 2s,流式 TTFT P95 < 600ms | 月度所有成功请求的 P95 分位数 |
| 3 | TPS / 吞吐量 保障值 | 单 Key ≥ 1,000 TOK/s 输入 + 500 TOK/s 输出 | 不触发限流的前提下可稳定达到 |
| 4 | 数据安全条款(DPA) | 不入账训练 + 30 天内删除日志 + 可选私有化 VPC | 属于 SLA 的”非性能性条款”,但同样重要 |
当实际指标未达到承诺时,标准做法是服务抵扣(Service Credit):
- 可用性达到 99.0%–99.5% → 抵扣当月费用 10%;
- 95%–99.0% → 抵扣 25%;
- < 95% → 抵扣 50%–100%。 (具体比例以合同为准,一般抵扣不退款,只能抵扣未来账单)
为什么即使有 SLA,你仍然需要 回退/容错 ?
SLA 是”事后赔钱”的承诺,不是”事前保证不挂”的魔法。一个月 downtime 只要 0.1% 听起来很牛,但换算下来:
0.1% × 30 天 = 0.03 天 = 43 分钟
你的核心业务在高峰期连续挂 43 分钟,是能被 SLA 赔偿覆盖的! 赔偿几十块钱和你业务损失几万块完全不对等。
所以正确的架构思路是:
唯元智创 聚合网关对所有接入方默认提供:
- 跨供应商自动 故障转移(Failover):某家 5xx 超过阈值自动切到另一家;
- 跨区域多活:主备切换 < 30 秒;
- 透明降级:某个模型规格挂了自动切到同能力替代品(如 GPT-4o 挂了切 Claude 3.5 Sonnet,字段格式自动兼容),业务侧零代码处理。
这让你实际的”端到端可用性”比单一供应商的 SLA 数字高 1–2 个 9。
看一份 SLA 时 5 个必看细节(合同谈判 checklist)
| # | 细节点 | 常见坑 |
|---|---|---|
| 1 | SLA 统计的”总请求”分母是什么? | 有的厂商把”预检请求、OPTIONS、重复重试”都算进分母抬高成功率;正确口径是——所有收到 2xx / 5xx 响应的请求 |
| 2 | 是否排除了计划性维护窗口? | 有的厂商每月允许 4–8 小时维护窗口不算 downtime;这 8 小时其实就是”合法的不可用时间”——你业务要做高峰避让 |
| 3 | 5xx 包括模型超时挂起吗? | 请求迟迟不返回,最后你客户端超时断开——厂商侧日志里这笔可能还没记成 5xx。要明确写”服务端处理时间 > 30s 未返回视为 SLA 失败” |
| 4 | 触发抵扣需要我主动申请吗? | 良心厂商:每月自动出 SLA 报告,抵扣自动发;不良心厂商:超过 30 天没申请就视作放弃——你要在合同里注明”自动出具报告、自动抵扣” |
| 5 | 有没有最高抵扣上限? | 常见上限是”当月账单总额的 100%“——这意味着即使全月挂了,你最多拿回本月的钱,不能赔业务损失。损失大的业务应单独购买商业保险。 |
常见问题
99.9% 和 99.99% 差 0.09% 为什么那么贵?
因为 99.9% → 99.99% 不是线性的成本。99.9% 允许 downtime ≈ 43 分钟/月,单机架部署基本能做到;99.99% 只允许 4.3 分钟/月,意味着多活、跨 AZ、跨区域、自动化故障自愈、金丝雀发布一套全上,基建和运维成本翻 3–10 倍。业务如果不是金融/医疗核心,99.9% 够用了。
免费用户 / Free Tier 也有 SLA 吗?
基本没有。免费额度(Free Tier)用户通常在 ToS 里明确写了”尽力而为(Best Effort),无 SLA,无服务抵扣”。生产系统永远不要跑在免费额度上,哪怕你用得少也至少买最低的付费计划,至少能拿到 99.5% 的底线保障。
第三方 AI API 聚合平台的 SLA 和原厂是什么关系?
是两个独立的 SLA:(1) 聚合平台承诺给你的端到端 SLA;(2) 原厂对聚合平台的上游 SLA。平台的作用是——用多厂商并行把原厂 SLA 的不确定性”叠起来”。举个真实数字:唯元智创 对外承诺 99.9%,但实际月度可用性一直是 99.98%+,因为同时接了 6+ 家供应方,一家挂了秒切别家,远比只接一家原厂稳定。