Charabia

Meilisearch 用于标记查询和文档的库

角色

标记器的角色是将一个句子或短语分成更小的语言单位，称为标记。它根据语言的特定性查找并检索字符串中的所有单词。

详细信息

Charabia 提供了一个简单的 API，通过检测其脚本/语言并为其选择专门的管道，来对特定语言的文本进行分割、规范化或标记（分割 + 规范化）。

支持的语言

Charabia 是多语言的，具有对以下语言的优化支持：

我们旨在提供全球语言支持，您的反馈帮助我们更接近这一目标。[了解如何提高我们的语言支持](https://docs.meilisearch.com/learn/advanced/language.html#improving-our-language-support)。如果您在搜索结果或文档处理方式中注意到不一致，请在我们的GitHub仓库中提出问题。

如果您有charabia不支持的特殊需求，请通过创建专用讨论在我们的产品仓库中分享。

关于性能级别

性能基于分词器的吞吐量（MiB/秒）（在scaleway Elastic Metal服务器EM-A410X-SSD - CPU: Intel Xeon E5 1650 - RAM: 64 Go）上使用jemalloc计算

• 0️⃣⬛️: 0 -> 1 MiB/秒
• 1️⃣🟥: 1 -> 3 MiB/秒
• 2️⃣🟧: 3 -> 8 MiB/秒
• 3️⃣🟨: 8 -> 20 MiB/秒
• 4️⃣🟩: 20 -> 50 MiB/秒
• 5️⃣🟪: 50 MiB/秒或更多

示例

分词

use charabia::Tokenize;

let orig = "Thé quick (\"brown\") fox can't jump 32.3 feet, right? Brr, it's 29.3°F!";

// tokenize the text.
let mut tokens = orig.tokenize();

let token = tokens.next().unwrap();
// the lemma into the token is normalized: `Thé` became `the`.
assert_eq!(token.lemma(), "the");
// token is classfied as a word
assert!(token.is_word());

let token = tokens.next().unwrap();
assert_eq!(token.lemma(), " ");
// token is classfied as a separator
assert!(token.is_separator());

分割

use charabia::Segment;

let orig = "The quick (\"brown\") fox can't jump 32.3 feet, right? Brr, it's 29.3°F!";

// segment the text.
let mut segments = orig.segment_str();

assert_eq!(segments.next(), Some("The"));
assert_eq!(segments.next(), Some(" "));
assert_eq!(segments.next(), Some("quick"));