spm_precompiled

此软件包旨在模拟 https://github.com/google/sentencepiece 中的 Dart::DoubleArray 结构及其 Normalizer。其主要目的是与 tokenizers 一起使用，tokenizers 是一个 Rust 库，旨在为使用 HuggingFace 的 transformers 库提供对字符串进行标记化的工具。

此软件包非常专业，不适合通用用途。

算法的核心是读取 spm 的二进制 precompiled_charsmap。

lib.rs:

此软件包旨在模拟 https://github.com/google/sentencepiece 中的 Dart::DoubleArray 结构及其 Normalizer。其主要目的是与 tokenizers 一起使用，tokenizers 是一个 Rust 库，旨在为使用 HuggingFace 的 transformers 库提供对字符串进行标记化的工具。

此软件包非常专业，不适合通用用途。

算法的核心是读取 spm 的二进制 precompiled_charsmap。