Hugging Face Blog·· 3 小时前AI 评分55
VocabX 如何通过定制小模型词表将实际推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma AI 提出词表定制方法 VocabX，在不改动基座模型和训练方案的前提下，将生产环境小语言模型的实测推理成本降低了 77%。该方法根据生成阶段的 token 计算成本而非出现频率重构分词器，将高频重复结构转化为宏 token，同时剪除领域未使用的词表条目。
来源：Hugging Face Blog · huggingface.co