https://answer.freetools.me/tags/subword/ Recent content in Subword on Answer Hugo -- 0.152.2 zh-cn Sun, 08 Mar 2026 13:12:23 +0800 https://answer.freetools.me/tokenizer%E5%86%B3%E5%AE%9A%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9C%8B%E5%88%B0%E7%9A%84%E4%B8%96%E7%95%8C%E4%BB%8Ebpe%E7%AE%97%E6%B3%95%E5%88%B0%E8%8D%89%E8%8E%93%E9%97%AE%E9%A2%98%E7%9A%84%E6%8A%80%E6%9C%AF%E8%A7%A3%E5%AF%86/ Sun, 08 Mar 2026 13:12:23 +0800 https://answer.freetools.me/tokenizer%E5%86%B3%E5%AE%9A%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9C%8B%E5%88%B0%E7%9A%84%E4%B8%96%E7%95%8C%E4%BB%8Ebpe%E7%AE%97%E6%B3%95%E5%88%B0%E8%8D%89%E8%8E%93%E9%97%AE%E9%A2%98%E7%9A%84%E6%8A%80%E6%9C%AF%E8%A7%A3%E5%AF%86/ 深入解析大语言模型Tokenizer的技术原理与设计权衡。从1994年Philip Gage的数据压缩算法到Sennrich等人2015年的NLP应用，系统阐述BPE算法的工作机制、词表大小的权衡、多语言效率差异、以及\"strawberry问题\"等经典案例。涵盖GPT-4与GPT-4o tokenizer对比、中文token效率分析、数学能力影响，以及tokenizer-free架构的未来展望。