商汤大装置展示万卡级异构推理架构，日均Token服务量达6万亿

商汤大装置副总裁宣善明公布了以PD分离为核心的万卡级异构推理架构实践。该方案将计算密集的Prefill与高带宽需求的Decode解耦并协同国产算力，商汤称在特定测试配置下将整体Token吞吐量提升至原来的5倍。 目前该平台日均Token服务量已达到6万亿，后续计划进一步探索跨域PD分离与AF分离技术。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。