文章目录 前言一、token是什么二、常用分词方法三、GPT-3的分词方式1. 代码示例2. `Ġworld` 和 `world` 的区别1） 分词中的空格前缀2） 后续计算中的区别 3. 为什么使用子词分词总结