probly-search ·

一个全文搜索库，用 Rust 编写，针对插入速度优化，提供对评分计算的完全控制。

此项目最初是 Node 库 NDX 的移植。

演示

50k 文档的标题/标签搜索。

https://quantleaf.github.io/probly-search-demo/

特性

• 三种评分方式

  • BM25 排名函数用于排名匹配文档。与 Lucene >= 6.0.0 默认使用的相同排名函数。
  • zero-to-one，一个独特的库评分函数，提供介于 0 和 1 之间的标准化分数。非常适合匹配标题/标签和查询。
  • 通过实现 ScoreCalculator trait，您可以完全自定义自己的评分函数。

• 基于 Trie 的动态 倒排索引。

• 多个字段全文索引和搜索。

• 字段级评分提升。

• 可配置的分词器。

• 带有查询扩展的自由文本查询。

• 快速分配，但存在潜在删除。

• 兼容WASM

文档

添加、删除和搜索文档

查看集成测试。

使用WASM与该库结合使用

查看食谱搜索演示项目

一个基本示例

使用具有2个字段的文档创建索引。查询文档，并删除文档。

use std::collections::HashSet;
use probly_search::{
    index::Index,
    query::{
        score::default::{bm25, zero_to_one},
        QueryResult,
    },
};

// A white space tokenizer
fn tokenizer(s: &str) -> Vec<Cow<str>> {
     s.split(' ').map(Cow::from).collect::<Vec<_>>()
}

// We have to provide extraction functions for the fields we want to index

// Title
fn title_extract(d: &Doc) -> Vec<&str> {
    vec![d.title.as_str()]
}

// Description
fn description_extract(d: &Doc) -> Vec<&str> {
    vec![d.description.as_str()]
}

// Create index with 2 fields
let mut index = Index::<usize>::new(2);

// Create docs from a custom Doc struct
let doc_1 = Doc {
    id: 0,
    title: "abc".to_string(),
    description: "dfg".to_string(),
};

let doc_2 = Doc {
    id: 1,
    title: "dfgh".to_string(),
    description: "abcd".to_string(),
};

// Add documents to index
index.add_document(
    &[title_extract, description_extract],
    tokenizer,
    doc_1.id,
    &doc_1,
);

index.add_document(
    &[title_extract, description_extract],
    tokenizer,
    doc_2.id,
    &doc_2,
);

// Search, expected 2 results
let mut result = index.query(
    &"abc",
    &mut bm25::new(),
    tokenizer,
    &[1., 1.],
);
assert_eq!(result.len(), 2);
assert_eq!(
    result[0],
    QueryResult {
        key: 0,
        score: 0.6931471805599453
    }
);
assert_eq!(
    result[1],
    QueryResult {
        key: 1,
        score: 0.28104699650060755
    }
);

// Remove documents from index
index.remove_document(doc_1.id);

// Vacuum to remove completely
index.vacuum();

// Search, expect 1 result
result = index.query(
    &"abc",
    &mut bm25::new(),
    tokenizer,
    &[1., 1.],
);
assert_eq!(result.len(), 1);
assert_eq!(
    result[0],
    QueryResult {
        key: 1,
        score: 0.1166450426074421
    }
);

查看BM25实现和零到一实现以获取更多查询示例。

测试

使用以下命令运行所有测试

cargo test

基准测试

使用以下命令运行所有基准测试

cargo bench

许可证

MIT