huggingface使用国内镜像站下载
huggingface使用国内镜像站下载
huggingface开源的模型托管仓库，预训练模型的数量已超过30万个，并且任何模型在下载之前都可以使用huggingface提供的spaces空间去测试效果
huggingface的国内镜像站HF-Mirror的地址：https://hf-mirror.com/
HF-Mirror网站主页提供了几个下载方法，这里使用方法二-借助huggingface-cli，huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。
1. 安装依赖
pip install -U huggingface_hub
2. 设置环境变量
Linux
export HF_ENDPOINT=https://hf-mirror.com
Windows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"
建议将上面这一行写入 ~/.bashrc。
3.1 下载模型
3.1.1 搜索模型
以Qwen1.5-0.5B-chat为例，我们先进入到https://hf-mirror.com/models去搜索Qwen1.5-0.5B-chat，会跳转到下面的页面
然后复制模型的名称
3.1.2 使用命令行下载模型
huggingface-cli download --resume-download Qwen/Qwen1.5-0.5B-Chat --local-dir /root/Qwen
- –resume-download：接模型的名称
- –local-dir：接模型的存放路径
3.2 下载数据集
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext
可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得，详细解释请见上面提到的教程。