学习Prompt Turning
传统的微调因为代价很高，而且一旦权重很大，这种fine 微微的意思是调不动模型的，所以需要这种提示词调
mindnlp直接有
peft config
peft_config = PromptTuningConfig(task_type=“SEQ_CLS”, num_virtual_tokens=10)
方便我们进行prompt tuning
就只不过是一种peft
是使用的glue数据集，里面很多丰富种类的数据
看来是用mrpc任务，判断2个句子是不是同一描述。
微调的参数少，这才是peft
用ms设置求导，和模型搭建
开始了微调
最后得到了评估的分数
原文地址：https://blog.csdn.net/sinat_41803770/article/details/143997146
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！