AI & API

我会怎么用

需要比较模型、验证 API 可用性，或给自托管应用接入多个模型的人。

推荐顺序

1. 先列出业务需求：上下文长度、响应速度、结构化输出、视觉能力和预算，而不是先看排行榜。
2. 用最小请求验证鉴权、模型名、区域和限额，再逐步加入流式输出、工具调用和重试。
3. 记录每次请求的模型、延迟、状态码、token 用量和错误类型，才能比较供应商的真实体验。
4. 为生产调用设置超时、预算上限、降级模型和密钥轮换，测试密钥与生产密钥分开。

结果怎么看

• 模型榜单是参考，不是你的业务基准；用自己的短 prompt 和失败案例做小型回归集更有意义。
• HTTP 200 不代表回答可用，还要校验 JSON schema、工具调用参数和内容安全策略。
• 中转服务的价格、日志和数据保留政策差异很大，低价不等于适合敏感数据。

常见坑

• 把 API key 写进前端、Git 仓库、shell 历史或公开日志。
• 无限重试 429/5xx，造成费用失控和雪崩；应使用退避并设置总预算。
• 升级模型后只看成功率，不检查输出格式、延迟和中文质量变化。

安全提醒

• 示例命令中的环境变量只在本机读取，分享结果前确认没有泄露密钥。
• 生产数据发送给第三方模型前，先确认服务商的数据使用和保留条款。

维护者备注：AI 工具的第一优先级是可观测和可回滚；能清楚知道“为什么失败”，比单次回答惊艳更重要。