aleph-alpha-tokenizer

我们阿莱夫阿法非常喜欢huggingface的tokenizers crate。为这个优秀的库点赞。唯一的一个缺点是：接口针对绑定进行了优化，而不是为了在Rust中工作。

所以我们从中得到了启发，并试图改进一些东西。首先，我们想看看在实现相同的Model trait的同时，我们能使其变得多快。我们的实现基于非常好的fst crate。然后，我们添加了自己的接口，以发挥Rust的优势（主要是避免不必要的分配，重复使用数据，泛型）。

我们对改进后的性能非常满意。在我们的测试中，我们发现我们的分词器对任何给定的数据都能基本线性执行，而huggingface的wordpiece分词器在较长的多词时表现最差，表现最差。以下是一些基准测试的单核运行时间（单位：微秒）

（在启用所有缓解措施的情况下，在运行Fedora内核5.6.15-300.fc32.x86_64的Intel(R) Core(TM) i7-7600U CPU @ 2.80GHz上测量）

如您所见，使用我们的分词器作为模型比huggingface的wordpiece分词器快至少13%，通常更多。使用Rustic接口，我们可以省去很多分配和内存复制，所以至少快60%。

要重新运行基准测试，请调用cargo bench --all-features。否则，只会测试AlephAlphaTokenizer。

许可协议

本软件包根据MIT或Apache许可证版本2进行许可，由您自行决定。