# 预训练模型下载


下载模型可以从huggingface下载，国内使用modelscope（魔塔）速度会更快，配置更简单，下边介绍如何从这两个网站下载模型。

## 1.HuggingFace

Hugging Face 是一个旨在推动自然语言处理（NLP）技术和工具发展的开源社区和公司，提供了一系列优秀的预训练NLP模型，本文介绍如何从Hugging Face的镜像网站下载模型。

### 1.1安装

```shell
# 安装必要的包
pip install transformers
pip install -U huggingface_hub
# 高速下载工具 hf-transfer
pip install -U hf-transfer

# 设置国内镜像站点 hf-mirror
# linux
export HF_ENDPOINT='https://hf-mirror.com'
# windows
$env:HF_ENDPOINT = "https://hf-mirror.com"

# 设置是否启用 hf-transfer
export HF_HUB_ENABLE_HF_TRANSFER=1
% 关闭
export HF_HUB_ENABLE_HF_TRANSFER=0


```

### 1.2下载

模型下载`--resume-download`表示在之前基础上下载，后是具体模型，`--local-dir`后是本地目录

```shell
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --local-dir deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
```

下载数据集，`--resume-download`表示在之前基础上下载，后是数据集，`--local-dir`后边是的是本地目录

```shell
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext
```

## 2.ModelScope

### 2.1安装

```shell
# 安装包
pip install modelscope
```

### 2.2下载

默认下载地址为`~/.cache/modelscope/hu`(Linux) 和`C:\Users\用户名\.cache\modelscope\hub\`(windows)，可修改为设定地址，windows通过环境变量设置`MODELSCOPE_CACHE`为自定义路径，Linux使用`echo 'export MODELSCOPE_CACHE="/your/custom/path/modelscope"' >> ~/.bashrc `设置。

```shell
# 下载模型
modelscope download --model tiansz/bert-base-chinese
# 下载数据集
modelscope download --dataset swift/Chinese-Qwen3-235B-2507-Distill-data-110k-SFT

# 可通过--local_dir指定下载路径 --max-workers指定线程
```



## 3.参考

1. https://zhuanlan.zhihu.com/p/475260268
2. https://hf-mirror.com/
3. https://modelscope.cn/docs/models/download
4. https://blog.csdn.net/Aislli/article/details/147126912