【Hugging Face】下载开源大模型步骤
Mac M1
1、国内镜像站
模型基本都可以在国内镜像站 https://hf-mirror.com/ 下载。
部分 Gated Repo 需登录申请许可,需先前往 Hugging Face 官网登录、申请许可,在官网这里获取 Access Token 后回镜像站用命令行下载。
2、注册登陆 Hugging Face
2.1 注册账号
-
输入 邮箱、密码,点击 Next
-
输入 Username、Full name,勾选协议,点击 Create Account
-
邮箱会收到一封验证邮件,点击链接即可
2.2 登陆官网
输入 邮箱、密码,点击 Login
3、创建 token
-
点击头像,点击 setting
-
点击 Access Token,点击 Create new token
-
选择Read,点击 create token
三种Token类型各自的适用场景:
适用场景 示例 Fine-grained 如果您希望更细致地控制权限,例如仅允许特定操作(如读取、写入或微调),则可以选择“Fine-grained”权限。这种类型适合需要精细管理访问权限的用户,特别是在团队协作或项目中。 在与外部组织合作时,您可以创建一个仅允许访问该组织下特定模型的fine-grained token,而不必分享所有写权限。 Read 如果您只需要访问模型进行推理或下载模型,而不打算进行任何修改或训练,选择“Read”权限即可。这是大多数用户的常见选择,因为它允许您使用模型而不需要对其进行更改。 用于下载私有模型或进行推理时,确保不会对模型进行任何修改。 Write 如果您打算对模型进行修改、上传新的模型权重或更新现有模型,则需要选择“Write”权限。这通常适用于开发者或研究人员,他们需要将自己的工作成果上传到Hugging Face平台。 开发者在训练新模型后,需要将其上传到Hugging Face Hub以供他人使用。 -
Copy
4、下载 huggingface-cli
# 安装依赖
pip install -U huggingface_hub
# 设置环境变量
echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.zshrc
source ~/.zshrc
5、下载模型
# 下载模型(注意修改 local-dir 与 token 的值)
huggingface-cli download --resume-download meta-llama/Llama-3.2-1B --local-dir /Users/xxx/Models_llm/meta-llama/ --local-dir-use-symlinks False --token ****
# 下载数据集
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext
可以添加 --local-dir-use-symlinks False 参数禁用文件软链接,这样下载路径下所见即所得,详细解释请见 教程。
9、资料
原文地址:https://blog.csdn.net/weixin_42364929/article/details/145213849
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!