Hacker News 热门· ggcr·· 5 小时前同事件AI 评分78
DeepSeek 开源高性能推理框架 DeepInfer
DeepSeek just open-sourced its inference engine
AI 导读
DeepSeek 开源其生产环境使用的高性能推理框架 DeepInfer,首发提供 DeepSeek-V4.1-Flash 的离线推理支持。该框架基于 Apache License 2.0 开源,支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU,集成了 FlashMLA、DeepGEMM 等优化算子,并具备 MoE 并行、异步调度及确定性采样能力。
同一件事,精选收录的是《DeepSeek 开源推理框架 DeepInfer,兼容英伟达与华为昇腾》
来源:Hacker News 热门 · github.com