Hugging Face Blog·· 14 小时前精选AI 评分75
PyTorch 2.15 MPS 带来 FP8 支持与 LLM 解码加速
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 在 Mac MPS 后端引入 FP8 支持,并通过专用 Metal 算子大幅提升大语言模型解码效率与底层算子性能。MoE 模型解码速度提升 5 至 6.5 倍,词表 softmax 采样计算速度提升约 8 倍。此外,Wan2.2 视频 VAE 解码驱动显存峰值从 270 GiB 降至 8 GiB,新版本要求 macOS 15 及 Python 3.11 或更高版本。
推荐理由
PyTorch 2.15 为 Mac MPS 引入 FP8 与 Metal 算子优化,显著降低视频与大模型推理显存并加快 MoE 解码速度。
来源:Hugging Face Blog · huggingface.co