1、一种解释
令牌：令牌
令牌化
令牌解析器
2、另一种翻译可以翻译为： token翻译为“标签”，tokenize翻译为“标签分析”或“标签分析”，tokenizer翻译为“标签分析器”。
写词法分析器[Lexer]和语法分析器[Parser]时，除了常用lexer和parser这个词外，还常用tokenize和tokenizer。 基本上与词法分析相关的源代码都使用tokenize。
xsdqb翻译的《Mastering Java 2》中有这里的一段：
StreamTokenizer类根据用户定义的规则，从输入流中提取可见的子串和令牌符号。 此过程称为令牌化[i]tokenizing[/i]。 因为流因为令牌符号而被简化了。 令牌[i]token[/i]通常表示关键字、变量名称、字符串、直接量和大括号等语法标点符号。
3、在编写词法分析器(Lexer )或语法分析器(Parser )时，除了常用Lexer和Parser一词外，还常用tokenize和tokenizer，基本上所有词法分析的源代码都是tokenizer
那个名字来源于使用英语的开发者。 否则，请让习惯中文的我想想这个名字。 我可能会用其他简单的词语代替。 我不会那么形象化。 所以啊，语言文化的差异可能会导致思维方式的不同。 所以，中国人的想法和西方人的想法不同。 让他们理解我们的话可能也很难。
无论如何，好的东西应该学习，借鉴。 tokenize这个词这么频繁使用，一定有这个意思。 那么，到底这句话怎么翻译？ 怎么理解？ xsdqb翻译的《Mastering Java 2》中有这里的一段：
StreamTokenizer类根据用户定义的规则，从输入流中提取可见的子串和令牌符号。 此过程称为令牌化[i]tokenizing[/i]。 因为流因为令牌符号而被简化了。 令牌[i]token[/i]通常表示关键字、变量名称、字符串、直接量和大括号等语法标点符号。
参考xsdqb中的此译文，可以翻译如下：
令牌：令牌
令牌化
4、令牌解析器
我看到的另一个翻译，token可以翻译为“标签”，tokenize可以翻译为“标签分析”或“标签分析”，tokenizer可以翻译为“标签分析器”。
5、我的理解是，tokenize负责把代码解析成一个个“串”，Paser根据这些“串”前后的序列关系生成相应的语法结构。 使用代币似乎更容易给人印象，但总觉得有点别扭。 翻译成“标记”，缩小了范围。 我也找不到更合适的词了，总之理解意思是最重要的。
我不知道大家是怎么理解的，怎么翻译的。