多模态大模型学习（一）
参考：https://www.bilibili.com/video/BV1kT411o7a6?p=2&spm_id_from=pageDriver&vd_source=156234c72054035c149dcb072202e6be
余弦相似度，让正样本内积趋近于1，负样本趋近于-1。度量学习。N特别大时，负样本远大于正样本，对负样本进行采样。如何采样？采集难度比较大的负样本，与正样本相似度高的负样本。两个向量相乘就是相似度。排序，取最高的作为负样本。
文生图
模型训练：图片变向量，向量变成图片。
得到stage1的模型之后。
训练gpt模型就是训练gpt从描述生成token399，就是stage2的过程。
第一个模型生成的token给第二个模型进行训练。
原文地址：https://blog.csdn.net/weixin_41012399/article/details/142568144
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！