Rust 中的 BlingFire

blingfire 是 BlingFire 分词库的薄 Rust 包装。

将库添加到 Cargo.toml 以开始使用

cargo add blingfire

库公开了两个函数 text_to_words 和 text_to_sentences

use blingfire;

fn main() {
    let mut parsed = String::new();

    blingfire::text_to_words("Cat,sat on   the mat.", &mut parsed).unwrap();
    assert_eq!(parsed.as_str(), "Cat , sat on the mat .");

    blingfire::text_to_sentences("Cat sat. Dog barked.", &mut parsed).unwrap();
    assert_eq!(parsed.as_str(), "Cat sat.\nDog barked.");
}

代码采用 MIT 许可证。