Huggingface 使用问题与加速

原文地址：

https://www.gpufree.cn/docs/guide/tips/huggingface.html

模型与数据集下载加速
由于众所周知的原因，HuggingFace在国内是完全无法直接访问的。如果使用huggingface-cli下载，可以使用国内的hf-mirror镜像站。

echo $HF_ENDPOINT # 查看当前配置，如果没有输出即没有配置
export HF_ENDPOINT=https://hf-mirror.com # 一次性改法，最后的文件夹可以自行修改

修改bashrc文件，使得长期有效

echo "export HF_ENDPOINT=https://hf-mirror.com" >> ~/.bashrc
source ~/.bashrc

举例下载模型

huggingface-cli download --resume-download gpt2 --local-dir gpt2

举例下载数据集，可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext