#nlp #llm #ai #mistral #llama #helper #text-generation

kalosm-sample

通用的标记采样接口和结构化llm采样的辅助工具

5个不稳定版本

0.3.2 2024年8月14日
0.3.0 2024年8月13日
0.2.1 2024年2月28日
0.2.0 2024年2月18日
0.1.0 2023年12月16日

#479 in 机器学习

Download history 2/week @ 2024-05-10 19/week @ 2024-05-17 28/week @ 2024-05-24 26/week @ 2024-05-31 23/week @ 2024-06-07 28/week @ 2024-06-14 45/week @ 2024-06-21 21/week @ 2024-06-28 12/week @ 2024-07-05 29/week @ 2024-07-12 21/week @ 2024-07-19 22/week @ 2024-07-26 22/week @ 2024-08-02 279/week @ 2024-08-09 76/week @ 2024-08-16

每月402次下载
用于 12 个crate(直接使用5个)

MIT/Apache

165KB
4.5K SLoC

kalosm-sample

这是Kalosm的采样库。

它处理从概率分布中选择标记。采样器可以用来限制文本生成,例如,可以使用采样器防止模型连续生成相同的单词。或者,您可以只允许模型生成单数字的列表。

依赖项

~1.6–2.6MB
~38K SLoC