17个版本

1.0.4 2023年11月3日
0.1.97 2024年8月12日
0.1.96 2024年7月28日
0.1.9 2024年3月25日
0.1.1 2023年11月6日

#391 in 机器学习

Download history 167/week @ 2024-05-13 20/week @ 2024-05-20 1/week @ 2024-06-10 184/week @ 2024-07-22 56/week @ 2024-07-29 125/week @ 2024-08-12

365 每月下载量

MIT 协议

56KB
1K SLoC

github github crates.io docs.rs build status

LLM Weaver

LLM Weaver是一个灵活的库,旨在与任何LLM交互,重点在于管理超过模型最大令牌限制的长对话,确保用户经验的连续性和连贯性。

实现

此库是针对具有令牌上下文限制的LLM处理长对话的OpenAI策略的Rust实现。

一旦达到一定数量的上下文令牌阈值,库将总结整个对话,并附加到系统指令中,开始新的对话。

用法

请参阅crate级别文档以了解如何使用此库的详细说明。

用例

  • 基于文本的角色扮演游戏:在基于文本的角色扮演游戏中构建连贯且持久演变的叙述和交互。

  • 客户支持聊天机器人:开发能够记住过去用户交互并提供个性化支持的聊天机器人。

  • 教育虚拟导师:实现能够记住学生交互并根据需要调整援助的AI导师。

  • 医疗保健虚拟助手:创建基于过去用户健康查询提供后续建议和提醒的医疗保健助手。

  • AI驱动的MMO NPC交互:通过使NPC能够根据过去遭遇与玩家进行上下文相关的交互来增强MMO体验。

贡献

如果您对这个项目充满热情,请随时fork存储库并提交增强、错误修复或新功能的pull请求。

许可

LLM Weaver根据MIT许可证分发,确保在您的项目中使用和共享的最大自由度。

依赖项

~26–40MB
~506K SLoC