visual prompt tuning和visual instruction tuning
visual prompt tuning：作为一种微调手段，其目的是节省参数量，训练时需要优化的参数量小。
输入：视觉信息image token+可学习的prompt token
处理任务：比如常见的分类任务
visual instruction tuning：目的是提高模型的听从指令的能力
一般会使用到指令数据集，指令数据大概是“问题-答案”这样的形式，问模型问题相当于给模型下指令。
输入：视觉信息（图像嵌入）+语言指令（文本嵌入）
处理任务：问模型问题，模型给回答
其他：比如写prompt提示词给GPT，这里的prompt貌似也是指问GPT的问题。
原文地址：https://blog.csdn.net/m0_67708072/article/details/142304967
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！