transprompt

Rust中开发LLM应用的中心化提示框架

注意：transprompt尚未稳定，因此API可能会更改。

用法

目前，transprompt处于测试版，因此尚未在crates.io上发布。要使用它，请在Cargo.toml中添加依赖项。

transprompt = { git = "https://github.com/ifsheldon/transprompt.git", branch = "main", version = "0.10" }

文档

运行以下命令以生成文档，并在浏览器中打开。

cargo doc --open

为什么是transprompt

因为我已经厌倦了那些混合了继承层次结构和从无中生有的重载和重写方法的面向对象抽象层。

LLM编程，即提示工程的美妙名称，从提示开始，因此应该是以提示为中心的（如果你来自软件开发，则可能是数据驱动的）。

概念和设计

transprompt的整体设计遵循数据驱动设计。API被设计得尽可能明确，因此用户应该能够轻松跟踪构成提示的每个步骤。API层次结构的目标也是尽可能扁平。循环速度不是首要任务，因为LLM可能需要数万亿个周期来响应用户请求。

提示模板和占位符

正如其名所示，它是一个提示模板。

例如，一个模板看起来像这样

You are a friendly and helpful assistant. Today is {{date}}.

现在，{{date}}是一个占位符，一个要填充的槽位，在这个模板中，它的名称为"date"。

命名占位符的格式很简单，即{{你喜欢的任何名称}}。名称可以是任何字符串，但不能包含换行符"\n"和"\r\n"。