Lib.rs

tiktoken的高效Rust实现，增加了计算OpenAI令牌成本的功能。专为性能、准确性和无缝集成到项目中而设计。