Lib.rs

› 关键词 #gpt #openai #codec #nlp #tokenize #tokenizer #ai #chat-completion

#bpe

  1. tokenizers

    今天使用最频繁的tokenizers，注重性能和多功能性

    v0.20.0 90K #nlp #tokenizer #huggingface #bpe #word-piece #unicode-normalization #tokenize

  2. tiktoken-rs

    使用Rust中的tiktoken库进行编码和解码

    v0.5.9 54K #chat-completion #openai #codec #gpt #ai #text-encoding #bpe

  3. huggingface/tokenizers-python

    💥 针对研究和生产优化的最新速度最快的Tokenizers

    GitHub 0.16.0-dev.0 #tokenize #nlp #production #research #bert #bpe #gpt

  4. another-tiktoken-rs

    使用Rust中的tiktoken库进行编码和解码

    v0.1.2 #chat-completion #openai #gpt #bpe #ai #openai-api #codec

  5. gpt_tokenizer

    Rust BPE编码器解码器（Tokenizer）用于GPT-2 / GPT-3

    v0.1.0 #tokenizer #openai #ChatGPT #gpt-3 #bpe #codec

    6. 尝试使用DuckDuckGo进行搜索。

  6. tiktoken-rust

    用于与OpenAI模型一起使用的快速BPE分词器

    v0.2.1 #openai #models #bpe #python #original #tiktoken #tokeniser

  7. gpt-encoder

    Rust BPE编码器解码器用于GPT-2 / GPT-3

    v0.1.1 #codec #encoder #decoder #gpt #bpe

  8. quicktok

    最小化、快速、多线程的Byte Pair Encoding (BPE)实现，用于LLM分词

    v0.1.1 #multi-threaded #llm #pair #byte #tokenization #bpe #encoding

  9. tokeneer

    分词器库

    v0.0.1 140 #tokenizer #nlp #bpe

  10. fastok

    Rust中的BPE，使用PyO3与Python绑定

    v0.0.1 #pyo3 #python #python-bindings #bpe