1个不稳定版本

0.0.1 2022年9月16日

#7 in #produces

MIT 许可证

32KB
812

低级Tua词法分析器。

tua_lexer的设计思想是创建一个可重用的库,通过分离纯词法分析和特定的tua相关内容(如跨度、错误报告和内部化),直接在&str上操作,生成简单的标记,这些标记是一对类型标签和原始文本的一部分,并且不报告错误,而是将错误作为标记上的标志存储。

此词法分析器生成的标记尚不适合解析Tua语法。有关此信息,请参阅tua_parser::lexer,它将基本标记流转换为实际解析器使用的广泛标记。

此crate的目的是将原始源代码转换为已知标记类型的标记序列,因此构建实际的Tua标记流将更加容易。

此crate的主要实体是TokenKind枚举,它表示常见的词法单元类型。

无运行时依赖