领域方向
文字之外的 AI：看图、生成图片和视频的模型与创作工具。
9 条精选近 30 天 9 条共收录 17 条
Granite Switch 4.1 正式发布 8B 与 30B 模型，通过单一托管端点同时支持自然语言对话、决策判断与语音转文本任务。该模型整合了通用决策 aLoRA、Guardian 安全决策适配器和 Granite-Speech-5.0-Turbo-CTC 语音模块，适配器可复用基础模型的 KV cache 且整体显存占用与基础模型相当。
推荐理由：模型通过共用基础模型 KV cache 将对话、安全决策与语音转写整合至单一端点，为低显存多任务部署提供了参考。
NVIDIA 发布 120B 参数的开源多模态模型 Nemotron 3.5 Super VL，以及面向边缘端的 Nemotron 3.5 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB。
推荐理由：新模型补齐了从数据中心到边缘设备的开源智能体部署链条，帮助团队在私有化硬件上兼顾吞吐效率与多模态理解。
Apertus 团队发布 Apertus 1.5 8B 与 70B 模型的完整技术报告，原生支持图像与音频理解，并引入可选的思考模式及 262,144 tokens 上下文窗口。模型采用早期融合架构与分阶段持续预训练，已在 Apache 2.0 协议下开源权重，并全面公开了数据配方、评估记录以及各阶段的中间训练检查点。
推荐理由：项目公开了从数据配比、分阶段预训练到对齐检查点的全流程细节，为多模态与推理模型的训练复现提供了参考。
Meta 开源多模态 MoE 架构模型 Muse Spark Open，拥有约 816B 总参数与 42B 激活参数，支持最高 1M 上下文窗口。模型支持文本、图像、音频和视频多模态输入并输出文本，专门针对代码重构、调试和工具调用等智能体工作流进行优化。官方提供 BF16 与 NVFP4 权重，已全面适配 llama.cpp、SGLang、vLLM 与 MLX 等推理框架并支持 TRL 微调。
推荐理由：文章详细梳理了该多模态混合专家模型的架构细节与运行要求，为长上下文智能体部署提供了具体参考。
Black Forest Labs 发布图像生成模型 FLUX.3 Image Klein，开源了基础版与蒸馏版权重，并在 Diffusers 库中获得首日支持。
推荐理由：该模型统一了文生图与基于边界框的精准布局控制，并提供开箱即用的模块化推理与 LoRA 微调方案。
Google DeepMind 发布面向机器人领域的通用物理推理模型 Gemini 4 Argon，在具身推理基准 ERQA 上取得 87% 的得分。模型覆盖机器人控制、Real2Sim 物理仿真重建、多层级事后数据标注及自主迭代优化，在测试中通过仿真合成数据将真机任务成功率由 56% 提升至 75%。该模型已在 Google AI Studio 和 Gemini API 上线供开发者调用。
推荐理由：原文展示了将模型物理推理接入真实硬件控制与仿真孪生的具体工作流，为具身智能开发提供了可复现的端到端实现范式。
Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2，基于 Gemma 4 架构并采用 Apache 2.0 协议开源。模型总参数量为 740M，支持将文本、代码、图像、音频与视频统一映射至共享嵌入空间，上下文窗口扩展至 8K token。该模型支持向量维度动态截断以节省存储，经量化后在端侧设备运行纯文本嵌入仅需约 191MB 活跃内存。
推荐理由：原文给出了模块化参数设计与向量截断特性，开发者可据此评估在手机等端侧设备部署跨模态检索的显存和存储成本。
Mistral AI 推出 Mistral Large 4（ML4）公开预览版，模型拥有 1 万亿参数与 520 亿激活参数，权重预计当月底发布。该模型在欧洲自建数据中心使用 3,800 张 NVIDIA Grace Blackwell GPU 从头训练，支持原生多模态理解，在网络安全、代码生成及企业复杂工作流等评测中表现突出。
推荐理由：原文给出了万亿参数与52B激活参数架构及多项评测，读者可以据此了解其在网络安全和企业级工作流中的具体表现。
Google 正式发布前沿模型 Gemini 4 Argon，将单次输出 token 上限扩展至 1M tokens，主打真实世界复杂软件工程、企业知识工作与网络安全防御。
推荐理由：模型将输出上限提升至 1M tokens 并主打代码迁移与漏洞防御，展现了长流程工程任务落地的可行路径。