nipah_tokenizer

一款强大且简单的日常文本分词器！

如何使用

1. 获取默认选项（或创建自己的配置）

let options = nipah_tokenizer::options::default();

2. 获取一些文本

let text = "Hello, World!".to_string();

3. 对您的文本进行分词！

use nipah_tokenizer::tokenizer::tokenize;

let tokens = tokenize(text, &options);

输出将如下

["Hello": Id] [Comma] ["World": Id] [Exclamation]

您可以根据自己的需求使用它，它非常灵活

编码愉快！