The Decoder· Matthias Bastian·· 2 小时前同事件AI 评分77
DeepSeek 开源内部推理框架 DeepInfer
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache 2.0 协议开源了内部推理框架 DeepInfer，用于支撑 V4.1-Flash 模型的大规模快速推理。该框架基于 vLLM 构建，针对计算内核、多芯片分布式处理与文本生成进行了优化。团队还同步发布了 deepseek-recipe，可复现官方 API 的 token 处理逻辑，以降低私有部署的使用成本。
同一件事，精选收录的是《DeepSeek 开源推理框架 DeepInfer，兼容英伟达与华为昇腾》
来源：The Decoder · the-decoder.com