text-scanner

注意： 此库是实验性的，可能在0.0.*版本中发生重大变化。

一个以UTF-8字符为对象的、零拷贝的文本和代码扫描库。

此crate实现了一个基于UTF-8 char的文本Scanner，它包括用于扫描字符串切片的各种方法，以及回溯功能，可用于实现用于分词文本或代码的词法分析器。

已经实现了对现有语言和格式的扫描扩展，例如对Rust、C、Python、CSS、SCSS、JSON、JSON with Comments、等等。

有关使用Scanner实现的词法分析器的示例，请参阅any-lexer crate，该crate实现了例如Rust、C、Python、CSS、SCSS、JSON、JSON with Comments、等等的词法分析器。