服务等级协议

SLA (Service Level Agreement)

SLA 服务等级协议是 AI API 供应商与客户之间的正式承诺:一般以月度可用性百分比(如 99.9%)、首字延迟 P95、错误率为核心指标,未达标时按比例退款或抵扣下月账单。

详细解释

SLA(Service Level Agreement,服务等级协议) 是 API 行业通行的”服务质量保证书”。对普通开发者,大多数 SaaS 平台的 SLA 是你点了”我同意”但可能从没读过的 ToS 里的一段;对年付数十万以上的企业客户,SLA 是签在合同里、附带着真金白银退款条款的硬约束。

AI API 领域的 SLA 核心指标(和传统 Web API 有所不同)一般是下面 4 件事:

#指标典型承诺值(Pro Tier)计算口径
1月度服务可用性(Availability)99.5% – 99.9%1 - (月度错误请求 5xx 总数 / 总请求数)。注意:HTTP 429(你自己超限)、401(你的 Key 错)一般不算 SLA 失败
2TTFT P95(非流式可用首响应时间 P95 代替)非流式 P95 < 2s,流式 TTFT P95 < 600ms月度所有成功请求的 P95 分位数
3TPS / 吞吐量 保障值单 Key ≥ 1,000 TOK/s 输入 + 500 TOK/s 输出不触发限流的前提下可稳定达到
4数据安全条款(DPA)不入账训练 + 30 天内删除日志 + 可选私有化 VPC属于 SLA 的”非性能性条款”,但同样重要

当实际指标未达到承诺时,标准做法是服务抵扣(Service Credit)

  • 可用性达到 99.0%–99.5% → 抵扣当月费用 10%;
  • 95%–99.0% → 抵扣 25%;
  • < 95% → 抵扣 50%–100%。 (具体比例以合同为准,一般抵扣不退款,只能抵扣未来账单)

为什么即使有 SLA,你仍然需要 回退/容错

SLA 是”事后赔钱”的承诺,不是”事前保证不挂”的魔法。一个月 downtime 只要 0.1% 听起来很牛,但换算下来:

0.1% × 30 天 = 0.03 天 = 43 分钟

你的核心业务在高峰期连续挂 43 分钟,是能被 SLA 赔偿覆盖的! 赔偿几十块钱和你业务损失几万块完全不对等。

所以正确的架构思路是:

SLA 只是底线和心理预期,真正的高可用要靠你自己做多供应商 + 多区域 + 负载均衡 + 熔断 + 降级回退。

唯元智创 聚合网关对所有接入方默认提供:

  • 跨供应商自动 故障转移(Failover):某家 5xx 超过阈值自动切到另一家;
  • 跨区域多活:主备切换 < 30 秒;
  • 透明降级:某个模型规格挂了自动切到同能力替代品(如 GPT-4o 挂了切 Claude 3.5 Sonnet,字段格式自动兼容),业务侧零代码处理。

这让你实际的”端到端可用性”比单一供应商的 SLA 数字高 1–2 个 9。

看一份 SLA 时 5 个必看细节(合同谈判 checklist)

#细节点常见坑
1SLA 统计的”总请求”分母是什么有的厂商把”预检请求、OPTIONS、重复重试”都算进分母抬高成功率;正确口径是——所有收到 2xx / 5xx 响应的请求
2是否排除了计划性维护窗口有的厂商每月允许 4–8 小时维护窗口不算 downtime;这 8 小时其实就是”合法的不可用时间”——你业务要做高峰避让
35xx 包括模型超时挂起吗请求迟迟不返回,最后你客户端超时断开——厂商侧日志里这笔可能还没记成 5xx。要明确写”服务端处理时间 > 30s 未返回视为 SLA 失败”
4触发抵扣需要我主动申请吗良心厂商:每月自动出 SLA 报告,抵扣自动发;不良心厂商:超过 30 天没申请就视作放弃——你要在合同里注明”自动出具报告、自动抵扣”
5有没有最高抵扣上限常见上限是”当月账单总额的 100%“——这意味着即使全月挂了,你最多拿回本月的钱,不能赔业务损失。损失大的业务应单独购买商业保险。

常见问题

99.9% 和 99.99% 差 0.09% 为什么那么贵?
因为 99.9% → 99.99% 不是线性的成本。99.9% 允许 downtime ≈ 43 分钟/月,单机架部署基本能做到;99.99% 只允许 4.3 分钟/月,意味着多活、跨 AZ、跨区域、自动化故障自愈、金丝雀发布一套全上,基建和运维成本翻 3–10 倍。业务如果不是金融/医疗核心,99.9% 够用了。
免费用户 / Free Tier 也有 SLA 吗?
基本没有。免费额度(Free Tier)用户通常在 ToS 里明确写了”尽力而为(Best Effort),无 SLA,无服务抵扣”。生产系统永远不要跑在免费额度上,哪怕你用得少也至少买最低的付费计划,至少能拿到 99.5% 的底线保障。
第三方 AI API 聚合平台的 SLA 和原厂是什么关系?
是两个独立的 SLA:(1) 聚合平台承诺给你的端到端 SLA;(2) 原厂对聚合平台的上游 SLA。平台的作用是——用多厂商并行把原厂 SLA 的不确定性”叠起来”。举个真实数字:唯元智创 对外承诺 99.9%,但实际月度可用性一直是 99.98%+,因为同时接了 6+ 家供应方,一家挂了秒切别家,远比只接一家原厂稳定。