4个版本 (2个破坏性更新)

0.3.0 2024年4月12日
0.2.0 2023年9月1日
0.1.1 2023年6月23日
0.1.0 2023年6月9日

#302数据库实现

Download history • Rust 包仓库 43133/week @ 2024-04-26 • Rust 包仓库 49810/week @ 2024-05-03 • Rust 包仓库 49153/week @ 2024-05-10 • Rust 包仓库 55174/week @ 2024-05-17 • Rust 包仓库 47464/week @ 2024-05-24 • Rust 包仓库 112613/week @ 2024-05-31 • Rust 包仓库 116209/week @ 2024-06-07 • Rust 包仓库 100937/week @ 2024-06-14 • Rust 包仓库 153509/week @ 2024-06-21 • Rust 包仓库 140402/week @ 2024-06-28 • Rust 包仓库 115856/week @ 2024-07-05 • Rust 包仓库 122889/week @ 2024-07-12 • Rust 包仓库 117637/week @ 2024-07-19 • Rust 包仓库 124282/week @ 2024-07-26 • Rust 包仓库 108931/week @ 2024-08-02 • Rust 包仓库 87547/week @ 2024-08-09 • Rust 包仓库

462,729 每月下载量
32 个crate中使用了它(直接使用8个)

MIT 许可证

7KB
117

#Tokenizer-API

一个用于将分词器与tantivy接口的API。

为了不破坏现有分词器的支持,API将保持稳定。


lib.rs:

分词器负责将文本切割成适合索引的标记流。这是一个独立的crate,因此实现者不需要为每个新的tantivy版本进行更新。

要添加对分词器的支持,实现Tokenizer trait。查看tantivy仓库中的示例。

依赖关系

~0.4–1MB
~22K SLoC