Intern大模型训练营（四）：使用Hugging Face下载模型
1. Huggingface下载模型
首先在Huggingface平台注册账号。
然后进入https://github.com/codespaces，选择使用jupyter_notebook配置，输入以下命令流安装香瓜依赖。
# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0然后新建一个hf_download_josn.py 文件，输入以下内容。
import os
from huggingface_hub import hf_hub_download
# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"
# 指定要下载的文件列表
files_to_download = [
{"filename": "config.json"},
{"filename": "model.safetensors.index.json"}
]
# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)
# 遍历文件列表并下载每个文件
for file_info in files_to_download:
file_path = hf_hub_download(
repo_id=repo_id,
filename=file_info["filename"],
local_dir=local_dir
)
print(f"{file_info['filename']} file downloaded to: {file_path}")部分代码解释如下：
local_dir = f"{repo_id.split('/')[1]}"： 这行代码创建了一个新变量local_dir，它通过分割repo_id字符串并取其第二部分来形成模型的本地目录名称。split('/')会根据斜杠/分割字符串，返回一个列表，取列表的第二个元素（索引为1）作为目录名。
os.makedirs(local_dir, exist_ok=True)： 这行代码使用os模块的makedirs函数创建一个新目录。local_dir是要创建的目录的名称。exist_ok=True参数意味着如果目录已经存在，不会抛出错误，而是正常执行。
运行该文件，可以看到，已经从Hugging Face上下载了相应配置文件。
2. Hugging Face Spaces的使用
进入https://huggingface.co/spaces，在右上角点击Create new Space进行创建，在创建页面中，输入项目名为intern_cobuild，并选择Static应用进行创建。
回到codespaces，在终端输入：
git clone https://huggingface.co/spaces/<your_username>/intern_cobuild然后再对应的文件夹下找到index文件，输入以下代码：
<!doctype html>
<html>
<head>
<meta charset="utf-8" />
<meta name="viewport" content="width=device-width" />
<title>My static Space</title>
<style>
html, body {
margin: 0;
padding: 0;
height: 100%;
}
body {
display: flex;
justify-content: center;
align-items: center;
}
iframe {
width: 430px;
height: 932px;
border: none;
}
</style>
</head>
<body>
<iframe src="https://colearn.intern-ai.org.cn/cobuild" title="description"></iframe>
</body>
</html>
然后远程push我们更新的代码，输入以下指令：
git add .
git commit -m "update: colearn page"
git push其中git push 会报错。
这里需要在Huggingface上获取一个Access token，在Huggingface用户->settings->Access Tokens新建一个token。
然后输入以下
git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>之后再次git push，是成功的。
回到Huggingface的spaces页面，可以看到页面已经被更新。
3. 上传模型
通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
git lfs install # 直接在git环境下配置git LFS
pip install huggingface_hub创建项目，注意这里不要在之前的intern_build仓库里面创建，本人在这里踩了坑，没注意父文件夹。
cd /workspaces/codespaces-jupyter
#intern_study_L0_4就是model_name
huggingface-cli repo create intern_study_L0_4
# 克隆到本地 your_github_name 注意替换成你自己的
git clone https://huggingface.co/{your_github_name}/intern_study_L0_4在 intern_study_L0_4 上传之前下载好的config.json，然后新建一个README.md，粘贴以下内容。
# 书生浦语大模型实战营camp4
- hugging face模型上传测试
- 更多内容请访问 https://github.com/InternLM/Tutorial/tree/camp4现在可以用git提交到远程仓库
cd intern_study_L0_4
git add .
git commit -m "add:intern_study_L0_4"
git push现在可以在Hugging Face的个人profile里面看到这个model。
原文地址：https://blog.csdn.net/kjnsdg/article/details/143591550
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！