1 个不稳定版本
| 0.1.3 | 2023 年 2 月 15 日 |
|---|---|
| 0.1.2 |
|
| 0.1.1 |
|
| 0.1.0 |
|
#15 在 #bert
每月 25 次下载
在 bert_create_pretraining 中使用
225KB
373 行
bert_tokenizer
该软件包提供了从 谷歌 BERT 仓库 的原始 BERT 分词器的移植。
许可
MIT 许可。请参阅 LICENSE 文件以获取完整许可。
lib.rs:
这个软件包是谷歌 BERT GoogleBERT WordPiece 分词器的 Rust 版本。
依赖关系
~2MB
~60K SLoC