Lib.rs

› 解析器实现 | 编程语言 › sentencepiece
#sentence-piece #bindings #tokenizer

sys sentencepiece-sys

由 Daniël de Kok 和 2 位贡献者 开发

19 个版本 (10 个重大更改)

0.11.2 2023年7月22日
0.11.1 2023年3月19日
0.10.0 2022年10月11日
0.8.3 2022年7月30日
0.1.3 2020年2月7日

#2140 in 解析器实现

Download history · Rust 包仓库 109/week @ 2024-03-14 · Rust 包仓库 65/week @ 2024-03-21 · Rust 包仓库 119/week @ 2024-03-28 · Rust 包仓库 92/week @ 2024-04-04 · Rust 包仓库 110/week @ 2024-04-11 · Rust 包仓库 157/week @ 2024-04-18 · Rust 包仓库 169/week @ 2024-04-25 · Rust 包仓库 353/week @ 2024-05-02 · Rust 包仓库 272/week @ 2024-05-09 · Rust 包仓库 364/week @ 2024-05-16 · Rust 包仓库 279/week @ 2024-05-23 · Rust 包仓库 370/week @ 2024-05-30 · Rust 包仓库 1554/week @ 2024-06-06 · Rust 包仓库 1935/week @ 2024-06-13 · Rust 包仓库 2538/week @ 2024-06-20 · Rust 包仓库 3322/week @ 2024-06-27 · Rust 包仓库

9,435 下载/每月
在 7 个crate中使用（通过 sentencepiece）

Apache-2.0

2MB
25K SLoC

C++ 24K SLoC // 0.1% comments · Rust 包仓库 Bitbake 371 SLoC // 0.5% comments · Rust 包仓库 Rust 216 SLoC // 0.0% comments · Rust 包仓库 Shell 5 SLoC · Rust 包仓库

句子piece分词器的绑定

无运行时依赖