#huggingface #machine-learning #hub #python-packages #tokio #hf

hf-hub

这个 crate 的目的是简化与 huggingface 的交互。它旨在与 huggingface_hub Python 包兼容,但只实现了函数集的一个较小的子集

8 个版本

0.3.2 2023 年 10 月 4 日
0.3.1 2023 年 9 月 13 日
0.3.0 2023 年 8 月 29 日
0.2.0 2023 年 7 月 27 日
0.1.3 2023 年 7 月 20 日

#65 in 机器学习

Download history 11618/week @ 2024-04-22 9821/week @ 2024-04-29 11052/week @ 2024-05-06 11931/week @ 2024-05-13 10750/week @ 2024-05-20 10688/week @ 2024-05-27 10982/week @ 2024-06-03 9882/week @ 2024-06-10 9685/week @ 2024-06-17 11268/week @ 2024-06-24 11197/week @ 2024-07-01 11588/week @ 2024-07-08 11587/week @ 2024-07-15 12955/week @ 2024-07-22 13964/week @ 2024-07-29 12744/week @ 2024-08-05

51,816 个月下载量
用于 65 个 crate(直接使用 40 个)

Apache-2.0

73KB
1.5K SLoC

这个 crate 的目的是模拟并与 huggingface_hub Python 包兼容。

兼容意味着 Api 应该复用相同的文件,跳过下载,如果它们已经存在,并且每当这个 crate 下载或修改缓存时,它应该与 huggingface_hub 保持一致

目前只提供了一部分功能,目标是随着时间的推移添加新功能。我们目前将其视为一个内部/外部工具,这意味着我们目前正在随意修改一切以满足我们的内部需求。随着它的发展,最终将稳定下来,以适应我们的大部分需求。

如果您有兴趣使用此工具,请随时使用,但请注意可能存在变化的因素。

如果您想做出贡献,非常欢迎。

然而,由于缺乏维护时间,可能会拒绝添加新功能或创建新功能。我们目前专注于我们的内部需求。希望这个子集对更多用户来说已经很有趣。

如何使用

添加依赖项

cargo add hf-hub  # --features tokio

tokio 功能将启用异步(可能更快)API。

使用 crate

use hf_hub::api::sync::Api;

let api = Api::new().unwrap();

let repo = api.model("bert-base-uncased".to_string());
let _filename = repo.get("config.json").unwrap();

// filename  is now the local location within hf cache of the config.json file

依赖项

~0.1–14MB
~183K SLoC