昇思25天学习打卡营第19天|MindNLP ChatGLM-6B StreamChat
昇思MindSpore应用实践
本系列文章主要用于记录昇思25天学习打卡营的学习心得。
ChatGML-6B简介
ChatGLM-6B 是由清华大学和智谱AI联合研发的产品，是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
基于MindNLP的ChatGLM-6B StreamChat
实验步骤：
1、导入MindNLP必要的模块：
AutoModelForSeq2SeqLM：用于自动加载适用于序列到序列任务的预训练模型。
AutoTokenizer：用于加载与模型相匹配的预训练分词器，用于文本的预处理和后处理。
gradio（别名gr）：一个用于创建交互式机器学习界面的库。
mdtex2html：一个Markdown和LaTeX到HTML转换器。
2、导入ChatGLM-6B预训练模型
使用AutoModelForSeq2SeqLM.from_pretrained从指定源加载预训练的ChatGLM-6B大语言模型。
3、导入分词器
使用AutoTokenizer.from_pretrained加载与模型匹配的分词器。
分词器负责将原始文本转换成模型能理解的Token格式（通常是数字ID序列），并在生成文本后将其转换回可读的文本。
代码示例：
from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import gradio as gr
import mdtex2html
model = AutoModelForSeq2SeqLM.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope").half() # .half()将模型的数据类型转换为半精度浮点数（float16）
model.set_train(False) # 将模型设置为评估模式，关闭训练模式
tokenizer = AutoTokenizer.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope")
prompt = '有个叫丽丽的人连麦到一个昵称叫李鑫和南方的网友，丽丽说：你好，李鑫，就喜欢跟你们南方人聊天，你们南方人就是别北方人有点素质，不是夸你们呢，李鑫回答：我是山东人。请问丽丽会怎么回复？'
history = []
response, _ = model.chat(tokenizer, prompt, history=history, max_length=500)
response
返回结果：
结论：大模型就是比丽丽有点素质！OK了，家人们~
Reference
[1] Github-ChatGLM-6B
[2]昇思大模型平台
原文地址：https://blog.csdn.net/wayne6515/article/details/140577432
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！