手把手带你本地部署大模型

这篇文章的唯一目的是实现在本地运行大模型，我们使用LMStudio这个工具协助达成这个目标。

一，下载安装LM Studio

打开下载页面https://lmstudio.ai/下载LM Studio。

这个工具是免安装的，双击就可以打开软件。

二，本地部署大模型

1，搜索模型

打开LM Studio后，就可以在软件中搜索要部署的模型了，比如我们想部署阿里的通义千问，可以输入关键字qwen。

搜索结果会以列表的形式罗列出来。

我们会发现通过关键字搜索出来的模型非常多，选择的依据主要有两个：

• 模型参数。上面图中每个模型都带有一个参数，比如7B，14B，0.5B，数字越大，说明模型越复杂，耗费的资源越多，一般在自己的电脑上部署大模型，选择0.5B体验下即可。关于模型参数的具体知识，见文章最后一部分。
• 模型的格式。要选择GGUF，GGUF格式是为了使大型语言模型的推理更加高效、轻量级和易于部署而设计的，特别适用于资源受限的设备或环境。

2，下载大模型

比方说我们选择高亮的Qwen1.5-1.8B-Chat-GGUF模型。

如下图，在右下角找到Download按钮，点击下载。

可能会遇到下载很慢的情况，耐心等待，或者不通过这里下载，去网站手段下载模型，然后加载进来也行。

3，加载大模型

如上图，在LM Studio中按如下步骤，加载刚刚下载的大模型，并进行测试。

• ① 左侧选择chat
• ② 点击下拉列表，查看已经下载的大模型
• ③ 选择我们想要加载的大模型

4，测试大模型

加载大模型之后，按照下面步骤测试大模型是否正常加载。

• ① 点击 New Chat 新建一个会话
• ② 输入一个问题，根据AI的回答确认模型是否正常加载

5，部署大模型

在LM Studio中部署大模型，也非常简单。

• ① 点击左侧菜单，切换到部署界面
• ② 点击Start Server按钮，开始部署
  
  大模型很快就部署好了，当然，这是因为我们选择的模型比较小，不用耗费很多资源。

6， 验证

大模型部署好了之后，LM Studio中还提供了各种访问大模型的Demo。

如下图，我们选择使用Python进行访问，点击chat(python)按钮，copy下面的代码到pycharm中，执行代码。

如果在LM Studio的控制台能看到类似的日志，说明大模型运行正常。

关于大模型参数的补充知识

在提及大模型如7B、33B、70B时，这里的数值代表的是模型的参数量，也就是构成神经网络的权重和偏置的数量。在深度学习中，模型的复杂度与其参数量成正比，更多的参数意味着模型具有更强的学习能力和表达能力，但也需要更多的计算资源来进行训练和推理。

• 7B：指的是模型拥有大约70亿（7 Billion）个参数。
• 33B：指的是模型拥有大约330亿（33 Billion）个参数。
• 70B：指的是模型拥有大约700亿（70 Billion）个参数。

这些参数是模型学习得到的，用于捕捉输入数据与输出预测之间的复杂关系。较大的模型通常能够更好地拟合复杂的数据分布，但同时也可能带来过拟合的风险，需要大量的数据进行训练以避免这种情况。

在实际应用中，选择多大的模型取决于多种因素，包括计算资源的限制、模型的预期用途、数据集的大小和复杂性等。例如，对于资源有限的设备，可能需要使用较小的模型（如7B）；而对于云服务或高性能计算集群，则可能使用更大的模型（如70B）。

原文地址：https://blog.csdn.net/epitomizelu/article/details/140294793

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！