#proxy #llm #logging #observability

已删除 chronicle-local

Chronicle LLM代理API,用于本地使用,与SQLite和配置文件配合

1 个不稳定版本

0.1.1 2024年5月9日

#77#观测性

Apache-2.0

385KB
9K SLoC

chronicle

Chronicle是语言模型API调用的代理,

  • 提供重试,并在调用失败时可选地回退到其他提供者
  • 将每个调用记录到数据库中,并发送OpenTelemetry事件
  • 允许您在不更改请求格式的情况下切换模型提供者API。
  • 附带一个即插即用的获取函数,可以将OpenAI SDK调用重定向到Chronicle。
  • 有两个版本
    • 一个用于生产使用的完整服务器,使用PostgreSQL
    • 一个轻量级服务器,将日志记录到SQLite数据库,并可以从磁盘读取配置。

查看路线图了解当前状态和其他备注。

依赖关系

~83MB
~1.5M SLoC