大模型路由 LLM Router
大模型路由:LLM Router
LLM Router 解决「请求该发给哪个渠道」。Tokenjoy 按模型找到可用渠道,再按优先级和权重分流,渠道出问题时自动切换,应用侧始终只对接一个地址。
按模型选渠道
同一个模型可以配置多个渠道。网关收到请求后,按优先级和权重把请求分给不同渠道,换渠道不用改应用代码。
出问题时不中断
- 故障切换:渠道出问题时,按你的配置切到其他可用渠道
- 故障重试:上游出错时按策略重试,状态和错误都留记录
- 限流保护:按 API Key 设置请求速率与突发上限
路由之外还有治理
路由前,网关先校验 API Key、模型权限和额度;路由后,每次调用的主体、模型、Token 用量和费用都会留痕。需要的话,可以按渠道筛选调用日志,看每个渠道的消耗。
接入方式
兼容 OpenAI、Anthropic 接口:把 base_url 换成 https://app.tokenjoy.me/v1,换上网关签发的 API Key 即可。
常见问题
LLM Router 和大模型网关有什么区别?
Router 解决请求发给哪个渠道;网关在此之上还包括鉴权、权限、额度和审计。Tokenjoy 两者都提供。
渠道故障时请求会失败吗?
网关会按你的配置切换到其他可用渠道,并按策略重试。是否可切换取决于该模型配置了几个渠道。
