标签化rt
stdlibtokenize模块无法正确往返。 这个包装纸
stdlib周围有两个附加令牌ESCAPED_NL和
UNIMPORTANT_WS,Token数据类型。 src_to_tokens和
tokens_to_src往返。
如果是基于
python标注。
安装
pip安装tokenize-rt
使用方法
数据结构
Tokenize_rt.offset(line=none,utf8_byte_offset=None ) ) ) ) ) 652
标记偏移,并与ast交叉引用
标记来源。
Tokenize_rt.Token(name,src,line=None,utf8_byte_offset=None ) ) ) ) ) )。
创建标记name:token.Tok _ name或
ESCAPED_NL或UNIMPORTANT_WS
src :令牌的源代码是文本
line :此标签出现的行号。 这是None的东西
ESCAPED_NL和UNIMPORTANT_WS标记。
utf8_byte_offset :此标记是
是的。 对于ESCAPED_NL和UNIMPORTANT_WS令牌,此为None。
tokenize_rt.Token.offset
获取此令牌的偏移量。
Token到的转换和显示
tokenize _ rt.src _ to _ tokens (text : str )- List[Token]
tokenize _ rt.tokens _ to _ src (iterable [ token ] )- str
由tokenize-rt添加的附加令牌
tokenize_rt.ESCAPED_NL
tokenize_rt.UNIMPORTANT_WS
助理
tokenize_rt.NON_CODING_TOKENS
包含标签的frozenset。 这些标记可能显示在其他标记之间,而不是
影响控制流或代码: COMMENT
ESCAPED_NL
NL
UNIMPORTANT_WS
tokenize _ rt.parse _ string _ literal (text : str )- Tuple[str,str]
将字符串文本解析为前缀和字符串内容parse_string_literal(f'foo ' ) (f ',foo ' ) )
tokenize _ rt.reversed _ enumerate (sequence [ token ]-iterator [ tuple [ int,Token]]
生成(索引,令牌)对。 用于源代码的改写。
tokenize _ rt.rfind _ string _ parts (sequence [ token ],I )- Tuple[int, ]
搜索字符串文本字符串部分的索引I必须从字符串文本的末尾开始
对于不是字符串文本的内容() )空元组) tokens=src_to_tokens ) (' foo''bar'.capitalize ) ) ) rfind _ strital
与tokenize的区别
tokenize-rt将ESCAPED_NL添加到用反斜杠转义的换行符" token "
在tokenize-rt空白中添加UNIMPORTANT_WS (在tokenize中销毁) )。
tokenize-rt正则化字符串前缀,即使没有分析-
例如,这是
Python2。
tokenize-rt规范化python 2长文本(4l/4L )和八进制
python 3的文本(0755 )是
python 3)。
使用案例
欢迎加入QQ群--: 979659372
建议使用PyPI第三方库