Hugging Face Blog·· 3 小时前AI 评分48
VocabX 如何通过专门化 SLM 词表将实际推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
VocabX 通过围绕每个 token 的推理成本重塑领域词表,在不改变 Qwen3-4B 基础模型的情况下,将葡萄牙语作文评分器的实测推理成本降低 77%。该方法将输出层词表行数从约 152,000 降至约 65,000,相关结果来自仍在评审中的 VocabX 论文当前版本,发布前可能变化。
来源:Hugging Face Blog · huggingface.co