Lib.rs

#Tokenizer-API

用于将分词器与tantivy接口的API。

为了不破坏现有分词器的支持，API将保持稳定。

lib.rs:

分词器负责将文本切割成用于索引的标记流。这是一个独立的crate，因此实现者不需要为每个新的tantivy版本进行更新。

要添加对分词器的支持，实现 Tokenizer 特性。查看 tantivy仓库 中的示例。