量子位· 思邈·· 17 小时前AI 评分30
是石科技发布 TokenFleet 分布式调度框架,首 Token 延迟降低 32.4%
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效
AI 导读
是石科技发布 TokenFleet 分布式调度框架,通过优化请求路由、跨机房容量协同与混合负载治理,提升大模型集群的有效 Token 产出。该框架包含 TokenPilot、FleetMind 与 SLOMax 三项核心技术;在 GLM5.3 测试中使 P95 首 Token 延迟降低 32.4%、P50 降低 71.3%,达标输出吞吐提升约 29.4%。
来源:量子位 · qbitai.com