GPT-Encoder

Rust BPE 编码器/解码器，用于 GPT-2 / GPT-3

这是对 openai 的 gpt-2 编码器 和 latitudegames 的 GPT-3-Encoder 的 Rust 重新编写

use gpt_encoder::Encoder;

fn main() {
    let mut encoder = Encoder::new();
    let encoded = encoder.encode("Hello, World".to_string());
    println!("{:?}", encoded); 
    // prints: [15496, 11, 2159]

    let decoded = encoder.decode(encoded);
    println!("{:?}", decoded); 
    // prints: "Hello, World"
}

lib.rs:

GPT-Encoder

Rust BPE 编码器/解码器，用于 GPT-2 / GPT-3

这是对 openai 的 gpt-2 编码器 和 latitudegames 的 GPT-3-Encoder 的 Rust 重新编写

示例

use gpt_encoder::Encoder;

fn main() {
    let mut encoder = Encoder::new();
    let encoded = encoder.encode("Hello, World".to_string());
    println!("{:?}", encoded); 
    // prints: [15496, 11, 2159]

    let decoded = encoder.decode(encoded);
    println!("{:?}", decoded); 
    // prints: "Hello, World"
}