1个不稳定版本
0.0.1 | 2022年9月16日 |
---|
#7 in #produces
32KB
812 行
低级Tua词法分析器。
tua_lexer的设计思想是创建一个可重用的库,通过分离纯词法分析和特定的tua相关内容(如跨度、错误报告和内部化),直接在&str
上操作,生成简单的标记,这些标记是一对类型标签和原始文本的一部分,并且不报告错误,而是将错误作为标记上的标志存储。
此词法分析器生成的标记尚不适合解析Tua语法。有关此信息,请参阅tua_parser::lexer
,它将基本标记流转换为实际解析器使用的广泛标记。
此crate的目的是将原始源代码转换为已知标记类型的标记序列,因此构建实际的Tua标记流将更加容易。
此crate的主要实体是TokenKind
枚举,它表示常见的词法单元类型。