通用的标记采样接口和结构化llm采样的辅助工具
由 Evan Almloff 和 6 位贡献者
#479 in 机器学习
每月402次下载用于 12 个crate(直接使用5个)
165KB 4.5K SLoC
这是Kalosm的采样库。
它处理从概率分布中选择标记。采样器可以用来限制文本生成,例如,可以使用采样器防止模型连续生成相同的单词。或者,您可以只允许模型生成单数字的列表。
~1.6–2.6MB ~38K SLoC