首页 > 编程知识 正文

tensorrt教程,Python format

时间:2023-05-04 01:05:10 阅读:112104 作者:4227

标签化rt

stdlibtokenize模块无法正确往返。 这个包装纸

stdlib周围有两个附加令牌ESCAPED_NL和

UNIMPORTANT_WS,Token数据类型。 src_to_tokens和

tokens_to_src往返。

如果是基于

python标注。

安装

pip安装tokenize-rt

使用方法

数据结构

Tokenize_rt.offset(line=none,utf8_byte_offset=None ) ) ) ) ) 652

标记偏移,并与ast交叉引用

标记来源。

Tokenize_rt.Token(name,src,line=None,utf8_byte_offset=None ) ) ) ) ) )。

创建标记name:token.Tok _ name或

ESCAPED_NL或UNIMPORTANT_WS

src :令牌的源代码是文本

line :此标签出现的行号。 这是None的东西

ESCAPED_NL和UNIMPORTANT_WS标记。

utf8_byte_offset :此标记是

是的。 对于ESCAPED_NL和UNIMPORTANT_WS令牌,此为None。

tokenize_rt.Token.offset

获取此令牌的偏移量。

Token到的转换和显示

tokenize _ rt.src _ to _ tokens (text : str )- List[Token]

tokenize _ rt.tokens _ to _ src (iterable [ token ] )- str

由tokenize-rt添加的附加令牌

tokenize_rt.ESCAPED_NL

tokenize_rt.UNIMPORTANT_WS

助理

tokenize_rt.NON_CODING_TOKENS

包含标签的frozenset。 这些标记可能显示在其他标记之间,而不是

影响控制流或代码: COMMENT

ESCAPED_NL

NL

UNIMPORTANT_WS

tokenize _ rt.parse _ string _ literal (text : str )- Tuple[str,str]

将字符串文本解析为前缀和字符串内容parse_string_literal(f'foo ' ) (f ',foo ' ) )

tokenize _ rt.reversed _ enumerate (sequence [ token ]-iterator [ tuple [ int,Token]]

生成(索引,令牌)对。 用于源代码的改写。

tokenize _ rt.rfind _ string _ parts (sequence [ token ],I )- Tuple[int, ]

搜索字符串文本字符串部分的索引I必须从字符串文本的末尾开始

对于不是字符串文本的内容() )空元组) tokens=src_to_tokens ) (' foo''bar'.capitalize ) ) ) rfind _ strital

与tokenize的区别

tokenize-rt将ESCAPED_NL添加到用反斜杠转义的换行符" token "

在tokenize-rt空白中添加UNIMPORTANT_WS (在tokenize中销毁) )。

tokenize-rt正则化字符串前缀,即使没有分析-

例如,这是

Python2。

tokenize-rt规范化python 2长文本(4l/4L )和八进制

python 3的文本(0755 )是

python 3)。

使用案例

欢迎加入QQ群--: 979659372

建议使用PyPI第三方库

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。