Lib.rs
› 关键词
#
openai
#
original
#
python
#
bpe
#
models
#
tokeniser
#
capability
#
token
## tiktoken
关键词
搜索
tiktoken-rust
一个用于OpenAI模型的快速BPE分词器
v
0.2.1
#
openai
#
models
#
bpe
#
python
#
original
#
tiktoken
#
tokeniser
tiktoken
tiktoken的Rust高效实现，增加了计算OpenAI token成本的特性。专为性能、准确性和项目无缝集成而设计。
v
1.0.1
#
openai
#
token
#
capability
#
seamless
#
projects
#
integration
#
performance