Lib.rs

此包是以下项目的分支： https://github.com/huggingface/tokenizers.

我们移除了所有 CLI 部分、多线程功能和所有与 BERT 无关的部分，以使其更加紧凑并允许其在 wasm 上运行。