我们在一个对话中会保存上下文吗，嵌入什么部位，怎么嵌入的？
目录
我们在一个对话中会保存上下文吗，嵌入什么部位，怎么嵌入的？
在对话系统中，保存上下文信息是非常重要的，因为它允许系统理解和回应对话的历史，从而提供更连贯、更相关的回答。在基于Transformer的大型语言模型（LLM）中，上下文信息的保存和嵌入主要通过以下几种方式实现：
-
隐藏状态（Hidden States）：
- 在Transformer模型中，每个编码器层都会输出一个隐藏状态，这些隐藏状态包含了输入序列到该层为止的所有信息。在对话中，这些隐藏状态可以被视为对话的上下文。
-
最后隐藏层：
- 通常，
原文地址：https://blog.csdn.net/qq_38998213/article/details/144276456
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！