BlingFire在Rust中

blingfire是BlingFire分词库的一个轻量级Rust封装。

将库添加到Cargo.toml文件中开始使用

cargo add blingfire

库公开了两个函数 text_to_words 和 text_to_sentences

use blingfire;

fn main() {
    let mut parsed = String::new();

    blingfire::text_to_words("Cat,sat on   the mat.", &mut parsed).unwrap();
    assert_eq!(parsed.as_str(), "Cat , sat on the mat .");

    blingfire::text_to_sentences("Cat sat. Dog barked.", &mut parsed).unwrap();
    assert_eq!(parsed.as_str(), "Cat sat.\nDog barked.");
}

代码遵循MIT许可协议。

lib.rs:

blingfire是BlingFire分词库的一个轻量级Rust封装。