Lib.rs

使用Rust编写的快速全文搜索引擎库

如果您正在寻找Elasticsearch或Apache Solr的替代品，请查看我们的分布式搜索引擎Quickwit，它建立在Tantivy之上。

Tantivy在功能上更接近Apache Lucene，而不是Elasticsearch或Apache Solr，因为它不是一个现成的搜索引擎服务器，而是一个可以用来构建此类搜索引擎的crate。

实际上，Tantivy的设计受到了Lucene的强烈启发。

基准测试

以下基准测试对不同类型查询/集合的性能进行了分解。

具体表现将取决于查询的性质及其负载。

有关基准测试的详细信息，请参考此仓库。

功能

• 全文搜索
• 可配置的词法分析器（支持17种拉丁语言的开源支持，包括中文（tantivy-jieba 和 cang-jie），日语（lindera，Vaporetto，和 tantivy-tokenizer-tiny-segmenter）以及韩语（lindera + lindera-ko-dic-builder））
• 快速（查看🐎 ✨ 基准测试 ✨ 🐎）
• 启动时间短（<10ms），非常适合命令行工具
• BM25评分（与Lucene相同）
• 自然查询语言（例如：(michael AND jackson) OR "king of pop"）
• 短语查询搜索（例如："michael jackson"）
• 增量索引
• 多线程索引（在我的台式机上，索引英文维基百科只需少于3分钟）
• Mmap目录
• 当平台/CPU包含SSE2指令集时，使用SIMD整数压缩
• 单值和多值u64、i64和f64快速字段（与Lucene中的doc值相当）
• &[u8]快速字段
• 文本、i64、u64、f64、日期、IP、布尔值和分层细分字段
• 压缩文档存储（LZ4、Zstd、无）
• 范围查询
• 细分搜索
• 可配置索引（可选的词频和位置索引）
• JSON字段
• 聚合收集器：直方图、范围桶、平均值和统计度量
• 带有删除的LogMergePolicy
• 搜索器预热API
• 带有马的搞笑标志

非特性

分布式搜索不在Tantivy的范围内，但如果你需要此功能，请查看Quickwit。

入门指南

Tantivy在稳定的Rust上运行，并支持Linux、macOS和Windows。

• Tantivy的简单搜索示例
• tantivy-cli及其教程 - tantivy-cli是一个真正的命令行界面，它使您能够轻松地创建搜索引擎、索引文档并通过CLI或具有REST API的小型服务器进行搜索。它引导您在几分钟内将维基百科搜索引擎设置好并运行。
• 最后发布版本的参考文档

我如何支持此项目？

支持此项目有许多方法。

• 使用Tantivy并告诉我们您在Discord或通过电子邮件（[email protected]）的经历
• 报告错误
• 撰写博客文章
• 通过提问或提交PR来帮助文档
• 贡献代码（您可以通过我们的Discord服务器加入）
• 在您周围谈论Tantivy

贡献代码

我们使用GitHub Pull Request工作流程：在打开PR时引用GitHub票据和/或包含一个全面的提交信息。您自由地更新CHANGELOG.md以包含您的贡献。

分词器

在为tantivy实现分词器时，依赖于tantivy-tokenizer-apicrate。

克隆和本地构建

Tantivy在稳定的Rust上编译。要查看和运行测试，您可以简单地运行

git clone https://github.com/quickwit-oss/tantivy.git
cd tantivy
cargo test

使用Tantivy的公司

常见问题解答

我可以在其他语言中使用 Tantivy 吗？

• Python → tantivy-py
• Ruby → tantiny

您还可以在 GitHub 上找到其他绑定，但它们可能维护得较少。

一些 Tantivy 的使用示例是什么？

• seshat: 一个矩阵消息数据库/索引器
• tantiny: Ruby 的微型全文搜索引擎
• lnx: 具有REST API的适应性、容错性搜索引擎
• 以及更多！

与 Lucene 相比，Tantivy 平均快多少？

• 根据我们的 搜索延迟基准测试，Tantivy 比 Lucene 快约 2 倍。

tantivy 支持增量索引吗？

• 是的。

我如何编辑文档？

• tantivy 中的数据是不可变的。要编辑文档，需要删除文档并重新索引。

在索引过程中，我的文档何时可搜索？

• 在调用 IndexWriter 上的 commit 后，文档将可搜索。现有的 IndexReader 也需要重新加载以反映更改。最后，更改仅对新获取的 Searcher 可见。