Whatlang

专注于简洁性和性能的 Rust 自然语言检测库。

尝试在线演示。

内容

• 特性
• 入门指南
• 谁使用 Whatlang？
• 文档
• 支持的语言
• 功能开关
• 它是如何工作的？
  • 语言识别是如何工作的？
  • 可靠性是如何计算的？
• 运行基准测试
• 与其他替代方案的比较
• 端口和克隆
• 捐赠
• 来源
• 许可证
• 贡献者

特性

• 支持 69 种语言
• 100% 用 Rust 编写
• 轻量级、快速且简单
• 不仅识别语言，还识别脚本（拉丁文、西里尔文等）
• 提供可靠性信息

入门指南

示例

use whatlang::{detect, Lang, Script};

fn main() {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!";

    let info = detect(text).unwrap();
    assert_eq!(info.lang(), Lang::Epo);
    assert_eq!(info.script(), Script::Latin);
    assert_eq!(info.confidence(), 1.0);
    assert!(info.is_reliable());
}

有关更多详细信息（例如，如何将某些语言列入黑名单），请参阅文档。

谁使用 Whatlang？

Whatlang 被以下大型项目作为直接或间接依赖项用于语言识别。您将与使用 Whatlang 的优秀公司为伍

• Sonic - Rust 中的快速、轻量级且无模式的搜索后端。
• Meilisearch - 一个用 Rust 开发的开源、易于使用、极快且高度相关的搜索引擎。

功能开关

它是如何工作的？

语言识别是如何工作的？

该算法基于三元语言模型，它是n-gram的特例。为了理解这个概念，请查看原始白皮书：Cavnar和Trenkle '94: N-Gram-Based Text Categorization'。

is_reliable是如何计算的？

它基于以下因素：

• 给定文本中有多少个独特的三元组
• 第一个（未返回的）检测到的语言与第二个检测到的语言之间的差异有多大？这个指标在代码库中被称为rate。

因此，它可以表示为带有阈值函数的2d空间，将其分为“可靠的”和“不可靠的”区域。这个函数是双曲线，看起来像下面这样：

更多详情请查看博客文章：Rust Whatlang 库和自然语言识别算法介绍。

创建任务

• make bench - 运行性能基准测试
• make doc - 生成和打开文档
• make test - 运行测试
• make watch - 监视更改并运行测试

与其他替代方案的比较

端口和克隆

• whatlang-ffi - C绑定
• whatlanggo - Go语言的whatlang克隆
• whatlang-py - Python的绑定
• whatlang-rb - Ruby的绑定
• whatlangex - Elixir的绑定

捐赠

您可以通过捐赠NEAR代币来支持该项目。

我们的NEAR钱包地址是whatlang.near

来源

Whatlang是来自Franc（JavaScript，MIT）的派生作品，由Titus Wormer创建。

许可证

MIT © Sergey Potapov

贡献者

• greyblake Potapov Sergey - 创建者，维护者。
• Dr-Emann Zachary Dremann - 优化和改进
• BaptisteGelez Baptiste Gelez - 改进
• Vishesh Chopra - 设计了标志
• Joel Natividad - Tagalog的支持
• ManyTheFish - 狂野优化
• Kerollmops Clément Renault - 狂野优化