词法分析器

Tusk的词法分析组件。

关于

此包提供了Tusk中使用的Lexer和Token实现。它允许您提供输入的&str并按需流式传输Token实例。

用法

要使用此包，首先将其添加到您的Cargo.toml

[dependencies]
tusk_lexer = "0.2.*"

要创建一个新的Lexer，导入该结构并使用Lexer::new()方法。

use tusk_lexer::Lexer;

fn main() {
    let mut lexer = Lexer::new("$hello = 'cool'");
}

要从输入中获取下一个标记，请使用Lexer::next()方法

use tusk_lexer::Lexer;

fn main() {
    let mut lexer = Lexer::new("$hello = 'cool'");

    let maybe_some_token = lexer.next();
}

此方法返回一个Token。该结构有三个字段

struct Token {
    pub kind: TokenType,
    pub slice: &str,
    pub range: TextRange,
}

贡献

有关更多信息，请阅读CONTRIBUTING文档。

许可证

此存储库在MIT许可证下分发。有关更多信息，请阅读LICENSE文档。