日均6万亿Token服务背后，商汤大装置如何提升推理效能

商汤大装置展示了其以PD分离为核心的万卡级异构推理架构实践，在特定测试配置下将整体Token吞吐量提升至原来的5倍。该方案将计算密集的Prefill与高带宽需求的Decode解耦并协同国产算力，目前平台日均Token服务量达6万亿，后续还将进一步探索跨域PD分离与AF分离技术。