最小的分词器

纯 Rust 编写的 TinySegmenter 的端口，无依赖。您可以在以下位置找到 Rust 和 Python 的绑定：Rust 和 Python。

TinySegmenter 是由 Taku Kudo (2008) 原创的针对日语文本的 n-gram 单词分词器。

用法

将 crate 添加到您的项目中： cargo add tiniestsegmenter。

use tiniestsegmenter as ts;

fn main() {
    let tokens: Result<Vec<&str>, ts::TokenizeError> = ts::tokenize("ジャガイモが好きです。");
}