大模型学习笔记02——大模型的能力
大模型学习笔记02——大模型的能力
1、概述
- 以GPT-3为例，并未明确针对这些任务进行训练，它只是作为一个语言模型，被训练来预测下一个词
- 由于GPT-3并未特别针对任何这些任务进行训练，因此它并未过度拟合，意味着它有很大的潜力在许多其他任务上表现良好
2、语言模型的适应性：从语言模型到任务模型的转化
以GPT-3为例，仅在大量语料上训练的语言模型，未针对任何任务进行训练，因此从语言模型到任务模型的转化（也叫做语言模型的适应性）需要以下两个输入：
- 任务的自然语言描述
- 一组训练实例（输入-输出对）
主要有两种方式来完成这种适应：
-
训练（有监督学习）
-
提示（上下文）学习
- zero-shot
- one-shot
- few-shot
在适应的过程中，训练可能会因为过拟合而变得具有挑战性，因为大模型的参数往往很多，而参与训练的数据或例子较少（一部分原因是数据有限，一部分原因是模型可输入长度有限，有的即使可以输入足够的长度，但是大模型对输入的开始和结尾的部分更敏感，更容易记住，而中间部分容易遗忘，导致中间部分数据可能没有起到很好的作用）
总的来说，大模型具有很不错的性能，并且上下文的数量更多总是更好的。
以GPT-3为例，对其各种功能升入的认知，并真正理解如何优化给模型的提示，最直观的方法是验证语言模型是否能够有效地模仿和理解语言。
困惑度（perplexity），用于衡量语言模型的性能，模型的困惑度较低，预测下一个词越准确
总结
- GPT-3的表现不稳定
- 增加模型的大小和示例的数量都有助于提高性能
- 对于模型表现的原因尚不清楚
注
原文地址添加链接描述
原文地址：https://blog.csdn.net/qq_29787929/article/details/135619056
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！