17个版本
1.0.4 |
|
---|---|
0.1.97 | 2024年8月12日 |
0.1.96 | 2024年7月28日 |
0.1.9 | 2024年3月25日 |
0.1.1 | 2023年11月6日 |
#391 in 机器学习
365 每月下载量
56KB
1K SLoC
LLM Weaver
LLM Weaver是一个灵活的库,旨在与任何LLM交互,重点在于管理超过模型最大令牌限制的长对话,确保用户经验的连续性和连贯性。
实现
此库是针对具有令牌上下文限制的LLM处理长对话的OpenAI策略的Rust实现。
一旦达到一定数量的上下文令牌阈值,库将总结整个对话,并附加到系统指令中,开始新的对话。
用法
请参阅crate级别文档以了解如何使用此库的详细说明。
用例
-
基于文本的角色扮演游戏:在基于文本的角色扮演游戏中构建连贯且持久演变的叙述和交互。
-
客户支持聊天机器人:开发能够记住过去用户交互并提供个性化支持的聊天机器人。
-
教育虚拟导师:实现能够记住学生交互并根据需要调整援助的AI导师。
-
医疗保健虚拟助手:创建基于过去用户健康查询提供后续建议和提醒的医疗保健助手。
-
AI驱动的MMO NPC交互:通过使NPC能够根据过去遭遇与玩家进行上下文相关的交互来增强MMO体验。
贡献
如果您对这个项目充满热情,请随时fork存储库并提交增强、错误修复或新功能的pull请求。
许可
LLM Weaver根据MIT许可证分发,确保在您的项目中使用和共享的最大自由度。
依赖项
~26–40MB
~506K SLoC