大模型学习笔记十四：Agent模型微调

• 学习目的
  1、理解什么情况下需要训练一个具备Agent能力的模型？
  2、如何训练一个具备Agent能力的模型？重点是训练数据的构建
  3、如何评测Agent能力？
  4、如何提升模型的泛化性？

一、大模型需要Agent技术的原因

• 需求
  1、帮我查一下今天的销售额？
  2、（开车时）前方为啥堵车了？
  3、刘德华多少岁了
  4、请帮我约一个和搜索产品部的需求沟通会，本周三至周五我日历上空闲的时间都可以；
  5、帮我订一张周五去上海的机票

• 原因
  1、大模型的“幻觉”问题，很难在从模型本身上彻底解决，在严肃的应用场景需要通过引入外部知识确保答案的准确；
  2、大模型参数无法做到实时更新，本身也无法与真实世界产生实时连接，在多数场景下难以满足实际需求；
  3、复杂的业务场景需要

• 大模型技术框架回顾
  

二、Prompt Engineering可以实现Agent吗？

• 回答
  可以，前面弄的AutoGPT就是例子。除了AutoGPT外，还有ReACT、ModelScope、ToolLLaMA等不同的形式。

• 主流Agent prompt的比较
  

三、既然AutoGPT可以满足需求，为什么要额外训练一个Agent模型？

• 解答
  1、很多场景下无法使用大模型API，需要私有化部署；
  2、实践证明，除了GPT4 level的大模型，其他大模型（包括GPT3.5）无法很好遵从prompt要求完成复杂的Agent任务；
  3、通过训练，一个小参数量的大模型（13B、7B等）也能达到较好的能力，更加实用

四、怎么去训练一个Agent模型？

• 目标
  攀登背景最高峰，帮忙做个规划
• 规划图
  

1）数据准备和处理

2）模型训练

3）模型效果评估

五、如何提高Agent的泛化性？

1）Meta-Agent

2）训练数据构建

六、开源项目介绍

七、总结

1、Agent Tuning 的主要动机是训练大模型的 Agent 能力，尤其是希望通过训练让小参数量模型也能具备特定业务场景的 Agent 能力；
2、Agent Prompt 可以有不同的描述方式，通常包括Profile、Instruction、Tools、Format、Memory、Goal等部分；
3、可以采用自动评估和人工评估相结合的方法来评估 Agent 能力；
4、采用 Meta-Agent 方法可以构建多样性的 Agent Prompt 模板，再结合Query、Tools的多样化，可以训练出能力更加泛化的模型

原文地址：https://blog.csdn.net/weixin_43679037/article/details/140644780

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！