sentencepiece-model

SentencePiece模型解析器 由SentencePiece protobuf定义生成。

use sentencepiece_model::SentencePieceModel;

let model = SentencePieceModel::from_file("tests/t5-spiece.model")?;
assert_eq!(model.pieces.len(), 32000);
assert_eq!(model.trainer()?.unk_id(), 2);

用法

[dependencies]
sentencepiece-model = "0.1"

sentencepiece-model 使用 prost-build 和 protoc 从SentencePiece protobuf定义生成Rust代码。如果在路径中未找到现有的 protoc 二进制文件，构建脚本将在第一次构建期间从 protobuf版本 下载它。

lib.rs:

由SentencePiece protobuf定义生成的SentencePiece模型解析器。

有关解析和访问sentencepiece模型的入口点，请参阅 SentencePieceModel。

use sentencepiece_model::SentencePieceModel;

let model = SentencePieceModel::from_file("tests/t5-spiece.model")?;
assert_eq!(model.pieces.len(), 32000);
assert_eq!(model.trainer().unwrap().unk_id(), 2);