4个版本 (2个破坏性更新)

0.3.0 2024年4月12日
0.2.0 2023年9月1日
0.1.1 2023年6月23日
0.1.0 2023年6月9日

#302数据库实现

Download history 43133/week @ 2024-04-26 49810/week @ 2024-05-03 49153/week @ 2024-05-10 55174/week @ 2024-05-17 47464/week @ 2024-05-24 112613/week @ 2024-05-31 116209/week @ 2024-06-07 100937/week @ 2024-06-14 153509/week @ 2024-06-21 140402/week @ 2024-06-28 115856/week @ 2024-07-05 122889/week @ 2024-07-12 117637/week @ 2024-07-19 124282/week @ 2024-07-26 108931/week @ 2024-08-02 87547/week @ 2024-08-09

462,729 每月下载量
32 个crate中使用了它(直接使用8个)

MIT 许可证

7KB
117

#Tokenizer-API

一个用于将分词器与tantivy接口的API。

为了不破坏现有分词器的支持,API将保持稳定。


lib.rs:

分词器负责将文本切割成适合索引的标记流。这是一个独立的crate,因此实现者不需要为每个新的tantivy版本进行更新。

要添加对分词器的支持,实现Tokenizer trait。查看tantivy仓库中的示例。

依赖关系

~0.4–1MB
~22K SLoC