Lib.rs

cld3-rs

Rust对紧凑语言检测器v3 (CLD3)的绑定，CLD3是一个用于语言识别的神经网络模型。

C++代码来自 https://github.com/google/cld3

使用方法

libprotobuf 是构建此crate所需的。

let mut cld = cld3::NNetLanguageIdentifier::new(0, 500).unwrap();
let rs = cld.find_language("こんにちは");
println!("{:?}", rs.language);
// ja

紧凑语言检测器v3 (CLD3)

• 模型
• 支持的语言

模型

CLD3是一个用于语言识别的神经网络模型。此包包含推理代码和训练好的模型。推理代码从输入文本中提取字符n-gram，并计算每个n-gram出现的频率。例如，如图所示，如果输入文本是 "banana"，则提取的三元组之一是 "ana"，相应的频率是 2/4。n-gram被哈希到一个小的范围内的ID，每个ID由训练期间估计的密集嵌入向量表示。

该模型根据频率平均每个n-gram类型的嵌入，然后将平均嵌入连接起来产生嵌入层。网络的其他部分是一个隐藏（修正线性）层和一个softmax层。

要为输入文本获取语言预测，我们只需在网络中进行前向传递。

支持的语言

该模型输出BCP-47风格的代码，如下表所示。对于某些语言，输出根据脚本区分。语言和脚本名称来自 Unicode CLDR。

类似的工作

Rust的自然语言检测库。 https://github.com/greyblake/whatlang-rs

将谷歌的cld3语言检测器翻译成Rust。仅为了乐趣。 https://github.com/edvakf/langdetect