jieba-rs

🚀 通过在GitHub上赞助我 帮助我成为全职开源开发者

在Rust中实现的Jieba中文分词

安装

将其添加到您的 Cargo.toml

[dependencies]
jieba-rs = "0.6"

然后您就可以使用了。如果您使用的是Rust 2015，则还必须在包根目录中添加 extern crate jieba_rs。

示例

use jieba_rs::Jieba;

fn main() {
    let jieba = Jieba::new();
    let words = jieba.cut("我们中出了一个叛徒", false);
    assert_eq!(words, vec!["我们", "中", "出", "了", "一个", "叛徒"]);
}

启用额外功能

• default-dict 特性启用嵌入式词典，此特性默认启用
• tfidf 特性启用TF-IDF关键词提取器
• textrank 特性启用TextRank关键词提取器

[dependencies]
jieba-rs = { version = "0.6", features = ["tfidf", "textrank"] }

运行基准测试

cargo bench --all-features

基准测试：与cppjieba比较

• 优化jieba-rs，使其比cppjieba快33%
• 优化jieba-rs中文分词性能评估
• 优化jieba-rs中文断词性能测试

jieba-rs 绑定

• @node-rs/jieba NodeJS绑定
• jieba-php PHP绑定
• rjieba-py Python绑定
• cang-jie tantivy的中文分词器
• tantivy-jieba tantivy和jieba-rs之间的适配器
• jieba-wasm WebAssembly绑定

许可证

此作品在MIT许可证下发布。许可证副本提供在LICENSE文件中。