链捕手 ChainCatcher·· 2 小时前精选AI 评分81
DeepSeek 开源推理框架 DeepInfer,兼容英伟达与华为昇腾
DeepSeek 全面开源推理框架 DeepInfer 兼容华为昇腾
AI 导读
DeepSeek 正式开源内部推理框架 DeepInfer 及生产级 Token 编解码组件 deepseek-recipe,兼容英伟达与华为昇腾平台。该框架集成高性能算子并支持分布式推理、推测解码与结构化输出,已用于 DeepSeek V4.1 Flash 的大规模推理服务。deepseek-recipe 与官方 API 逻辑完整对齐,开源仓库及技术报告已同步上线。
推荐理由
该推理框架同时兼容英伟达与华为昇腾硬件,开发者能够直接采用官方对齐方案来部署高吞吐推理服务。
来源:链捕手 ChainCatcher · chaincatcher.com