arXiv cs.AI / cs.LG 最新· Anna Pramod·· 3 天前AI 评分57
论文称 TinyLlama 分词器词表几乎不含 Indic 文字，2048 上下文下卡纳达语可用词数仅 91
Efficiency Measured in English: Tokeniser Coverage Bounds Small Language Models on Indic Scripts
AI 导读
arXiv 论文用 131k 句、覆盖 11 种 Indic 文字的语料测试发现，TinyLlama-1.1B 分词器每个拉丁词输出 1.34 个 subword token，每个卡纳达语词要 22.60 个，词表中 Odia 码位占比 0%、Telugu 1%、Kannada 2%。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。