plrs

词法分析和标记化多工具。

安装

pip install plrs

构建

maturin build

示例

• zipfs-law

API

全局变量

EOF_TOKEN

类

Tokens
Settings
Token
  - part
  - token
  - set_part
  - set_token
  - __str__
  - __repr__

Lexer
  - new
  - char_forward
  - skip_over_char_set
  - next

函数

is_char_symbol
is_char_operator
is_char_whitespace
is_char_numeric
is_single_quote
is_double_quote
ends_token
is_part_numeric
tokenize