产品介绍
TokenRouter(https://token.buudoo.com/site/)是天云数据TokenFactory核心调度与计费引擎，企业AI算力的智能调度员+统一收银台。采用“路由策略引擎+计费配额系统”双核架构，统一纳管多模型、异构算力，实现智能切流、精准计费、成本最优、业务稳定，让企业AI算力从“粗放消耗”走向“精细化运营”。
天云数据TokenRouter实现模型请求的智能分发与Token级精准计费
核心价值
- 模型多、乱调用、管不住
- 统一入口：一次接入，即可调用全平台模型，无需分别对接
- 智能切流：按场景、复杂度、延迟自动分配模型
- 权限集中：API Key统一生命周期管理，可创建、授权、实时吊销
- 成本高、算不清、不可控
- Token级实时计量、实时扣费，消费一目了然
- 支持租户级、模型级、场景级多维分摊与配额
- 成本路由自动选性价比最高模型，告别“盲目用贵模型”
- 自动生成月度账单与消费明细，ROI清晰可算
- 不稳定、难升级、风险高
- 模型健康状态自动监测，故障自动切流
- 支持灰度发布，新版本逐步放量，不影响业务
- 高并发下秒级响应，核心业务优先保障
核心架构：双核驱动智能网关
TokenRouter采用高度解耦双核架构，向上承接模型调用请求，向下对接MaaS平台与异构算力，完成从鉴权→路由→执行→结算的全生命周期管理。
- 路由策略引擎：智能分流、场景匹配、延迟控制
- 计费配额系统：Token计量、费用核算、配额管控、预警限流
核心功能
- 智能模型路由
- 场景路由：根据业务需求自动匹配模型。
- 成本路由：自动选择性价比最优的模型，简单任务走低成本模型，复杂问题走旗舰模型。
- 延迟路由：区分实时任务与异步队列，避免高优任务被阻塞。
- 灰度发布：支持新模型版本平滑上线，逐步切流，保障业务零中断。
- 精细化计费与配额
- Token级计量：精确到每一Token的消耗进行实时扣费。
- 多维账单：支持租户级、模型级、场景级的成本分摊与月度账单生成。
- 配额管理：提供API Key管理与实时用量预警，防止资源滥用。
- 全生命周期管理
- 权限控制：细粒度的API Key生成、权限分配与实时吊销。
- 审计溯源：100%调用链路可追溯，满足金融、工业等严监管要求。
关键性能与指标
- 模型支持：统一调度33+主流大模型
- 算力支持：使用NVIDIA H800 +华为昇腾 910B 异构混合算力
- 计费粒度：Token级实时计费，支持三级分摊
- 成本优化：推理成本降低 约 30%，综合成本优化35%+
- 可用性：模型自动故障转移、灰度发布、业务零中断
- 并发能力：高并发场景核心业务秒级响应
典型应用场景
- 企业内部AI算力中心
- 多部门、多项目共享算力
- 按部门/项目/场景自动计费、配额管控
- 成本透明，避免算力浪费与超支
- 行业“数字员工”智能调度
-
- 电力检修：复杂工业任务路由至高可靠模型
- 人才招聘：简历解析、匹配、面试题生成自动切流
- 软件开发：全栈编程、测试、上线，覆盖DEVOps全流程
- 教育陪练：轻量高频请求用低成本模型
- 医疗问诊：高敏感、高实时任务走安全高性能通道
- 自媒体运营：内容生成、评论回复低成本高效运行
- 商业化MaaS运营平台
- 支持面向客户的按量计费、套餐计费
- 多租户独立账单、独立配额、独立权限
- 快速构建可商业化的AI服务平台
与TokenFactory协同价值
TokenRouter + TokenFactory形成逻辑+资源双驱动闭环：
- TokenRouter：负责模型路由、算力调度、成本结算
- TokenFactory：负责业务编排、安全沙箱、技能运营
二者合力打通电力—裸金属—算力—Token—应用全价值链，让企业用AI像用电一样：随取随用、成本透明、安全可控。