4个版本 (2个破坏性更新)
0.3.0
| 2024年4月12日 |
0.2.0
| 2023年9月1日 |
0.1.1
| 2023年6月23日 |
0.1.0
| 2023年6月9日 |
#302 在 数据库实现
462,729 每月下载量
在 32 个crate中使用了它(直接使用8个)
#Tokenizer-API
一个用于将分词器与tantivy接口的API。
为了不破坏现有分词器的支持,API将保持稳定。
分词器负责将文本切割成适合索引的标记流。这是一个独立的crate,因此实现者不需要为每个新的tantivy版本进行更新。
要添加对分词器的支持,实现Tokenizer
trait。查看tantivy仓库中的示例。