自学内容网 自学内容网

大模型学习笔记02——大模型的能力

大模型学习笔记02——大模型的能力

1、概述

  • 以GPT-3为例,并未明确针对这些任务进行训练,它只是作为一个语言模型,被训练来预测下一个词
  • 由于GPT-3并未特别针对任何这些任务进行训练,因此它并未过度拟合,意味着它有很大的潜力在许多其他任务上表现良好

2、语言模型的适应性:从语言模型到任务模型的转化

以GPT-3为例,仅在大量语料上训练的语言模型,未针对任何任务进行训练,因此从语言模型到任务模型的转化(也叫做语言模型的适应性)需要以下两个输入:

  • 任务的自然语言描述
  • 一组训练实例(输入-输出对)

主要有两种方式来完成这种适应:

  • 训练(有监督学习)

  • 提示(上下文)学习

    • zero-shot
    • one-shot
    • few-shot

在适应的过程中,训练可能会因为过拟合而变得具有挑战性,因为大模型的参数往往很多,而参与训练的数据或例子较少(一部分原因是数据有限,一部分原因是模型可输入长度有限,有的即使可以输入足够的长度,但是大模型对输入的开始和结尾的部分更敏感,更容易记住,而中间部分容易遗忘,导致中间部分数据可能没有起到很好的作用)

总的来说,大模型具有很不错的性能,并且上下文的数量更多总是更好的。

以GPT-3为例,对其各种功能升入的认知,并真正理解如何优化给模型的提示,最直观的方法是验证语言模型是否能够有效地模仿和理解语言。

困惑度(perplexity),用于衡量语言模型的性能,模型的困惑度较低,预测下一个词越准确

总结

  • GPT-3的表现不稳定
  • 增加模型的大小和示例的数量都有助于提高性能
  • 对于模型表现的原因尚不清楚

原文地址添加链接描述


原文地址:https://blog.csdn.net/qq_29787929/article/details/135619056

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!