tantivy-vibrato

一个使用 Tantivy 的 Vibrato 分词器。

用法

let tokenizer = VibratoTokenizer::new("/path/to/dictionary")?;
let analyzer = TextAnalyzer::from(tokenizer).filter(LowerCaser);
index.tokenizers().register("lang_ja", analyzer);

您需要指定 Vibrato 字典文件的路径。