2 个版本

0.1.1 2024 年 6 月 23 日
0.1.0 2024 年 6 月 23 日

#731 in 文本处理

MIT 许可证

26KB
564

金枝

Crates.io

金枝是一个受 Kagome 启发的、用 Rust 编写的日语形态分析器。

注意

这是一个正在进行中的项目。我可能会不通知就破坏 API。

安装

您可以通过 cargo 安装 kanpyo

cargo install kanpyo

您需要词典才能使用 kanpyo,可以通过以下方式构建和安装词典。

cd kanpyo-dict
cargo run --release --bin ipa-dict-builder -- 

词典安装在以下目录

  • Linux
    • $HOME/.config/kanpyo/
  • macOS
    • $HOME/Library/Application Support/kanpyo

您现在可以使用 kanpyo 了!

用法

kanpyo --help
Japanese Morphological Analyzer

Usage: kanpyo [COMMAND]

Commands:
  tokenize  Tokenize input text
  graphviz  Output lattice in Graphviz format
  help      Print this message or the help of the given subcommand(s)

Options:
  -h, --help     Print help
  -V, --version  Print version

分词

kanpyo tokenize "すもももももももものうち"          
すもも  名詞,一般,*,*,*,*,すもも,スモモ,スモモ
      助詞,係助詞,*,*,*,*,も,モ,モ
もも    名詞,一般,*,*,*,*,もも,モモ,モモ
      助詞,係助詞,*,*,*,*,も,モ,モ
もも    名詞,一般,*,*,*,*,もも,モモ,モモ
      助詞,連体化,*,*,*,*,の,ノ,ノ
うち    名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
EOS

交互式命令行模式

kanpyo
自然言語処理
自然    名詞,形容動詞語幹,*,*,*,*,自然,シゼン,シゼン
言語    名詞,一般,*,*,*,*,言語,ゲンゴ,ゲンゴ
処理    名詞,サ変接続,*,*,*,*,処理,ショリ,ショリ
EOS
形態素解析
形態素  名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ
解析    名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ
EOS

从管道标准输入

echo "自然言語処理" | kanpyo
自然    名詞,形容動詞語幹,*,*,*,*,自然,シゼン,シゼン
言語    名詞,一般,*,*,*,*,言語,ゲンゴ,ゲンゴ
処理    名詞,サ変接続,*,*,*,*,処理,ショリ,ショリ
EOS

Graphviz

以 Graphviz 格式打印格网以进行调试。

kanpyo graphviz "自然言語処理" | dot -Tpng -o lattice.png

lattice

待办事项

  • 支持各种词典(Sudachi, UniDic, neologd 等)
  • 支持服务器模式
  • 支持搜索模式

依赖项

~13–26MB
~382K SLoC