胜算云 胜算云 文档中心 ↗ 精益社区

路由调用

使用路由策略 ID 调用模型,并理解三种调度模式和常见错误。

路由调用

调用前准备

路由策略将多个模型的调度收敛为一个路由 ID。先在当前项目创建并保存策略,配置操作见>路由策略快速开始。从页面复制策略 ID,不自行拼接。请求使用该项目中本人的项目 API Key。

套餐权益、项目状态、模型可用范围和调用权限仍须满足;路由不会扩大调用人的权限。

请求方式

在使用的模型接口中,将 model 设置为当前项目的路由策略 ID。其他字段沿用该接口的请求格式。下面以聊天补全为例:

export SSY_BASE_URL="YOUR_PROJECT_BASE_URL"
export SSY_API_KEY="YOUR_PROJECT_API_KEY"
export SSY_ROUTE_ID="YOUR_ROUTE_ID"

curl "$SSY_BASE_URL/chat/completions" \
  -H "Authorization: Bearer $SSY_API_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"model\":\"$SSY_ROUTE_ID\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}],\"stream\":false}"

调用地址从当前项目复制,保留其项目路径和版本路径,不重复追加 /v1。完整消息结构和响应说明见>聊天补全。

按调度目标选择模式

模式 调度目标 核对重点
负载均衡 按配置权重分配到候选模型 用一段时间的多次请求观察分布,单次结果不能说明权重错误
故障转移 优先调用靠前的模型,符合条件的失败再尝试备用模型 检查模型顺序、权限与备用目标是否可用
混合模式 结合目标组的先后顺序与组内权重 分别检查组顺序和组内分配

策略只使用保存的有效模型与配置,不会自动补入未配置的替代模型。

区分跨模型切换和 BYOK 回退

跨模型故障转移由路由策略控制。BYOK 回退决定同一个模型的自有渠道接入失败后,是否允许使用胜算云渠道;以该密钥保存的故障处理方式为准。

  • 关闭平台回退时,不能因为配置了路由就默认转为平台付费调用。
  • 允许回退且满足失败条件时,同模型可以转入胜算云渠道,实际产生的平台费用进入记录。
  • 参数错误、权限拒绝或内容安全拒绝不能通过回退绕过。

供应商配置与费用边界见>BYOK。

核对调用结果

  1. 保存响应中的请求 ID 和调用时间。
  2. 到同一项目的>调用日志,核对实际模型、接入方式、结果和平台费用。
  3. 分流验证使用多个请求;故障转移测试在受控测试环境完成,避免影响正在使用的业务。

常见问题

现象 检查顺序
路由不存在或不属于当前项目 从页面重新复制 ID,核对调用地址、Key 与路由所属项目
路由没有可用模型 检查策略是否启用、项目模型是否仍可用、调用人是否有权限
预期的备用模型没有执行 核对失败原因、策略顺序和已保存的故障处理设置
平台费用与预期不同 区分平台直连、BYOK 回退和供应商侧账单,用请求 ID 核对实际接入方式
请求没有形成调用记录 保留时间和错误响应,先排查凭证、项目权限及请求参数