4、XTuner 微调个人小助手（笔记）
视频地址： https://b23.tv/QUhT6ni
课程文档：https://github.com/InternLM/Tutorial/blob/camp2/xtuner/readme.md
作业文档：https://github.com/InternLM/Tutorial/blob/camp2/xtuner/homework.md
1、Finetune 简介
两种Finetune范式
LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式
增量预训练微调
使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等；
指令跟随微调
使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数据；
LoRA：Low-RANK Adaptation of large language models
2、XTuner 介绍
3、8GB显存玩转LLM
原文地址：https://blog.csdn.net/nty102/article/details/137783816
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！