聊聊大语言模型的上下文处理能力基本概念

一、Llama3的上下文处理能力

Llama 3不同版本的上下文处理能力有所不同：

• Llama 3基础版本：上下文长度一般为8k tokens左右，约相当于6,000字或10页文档.
• Llama 3.1版本：将上下文窗口提升到了128k tokens，这使得模型在处理长篇幅文本、长对话以及复杂的数据检索任务等方面有了更出色的表现，能够更好地理解和生成与输入前文保持连贯性的文本，并且可以一次性参考更多的数据，从而更准确地检索和综合信息.
• 经过Gradient团队优化的版本：如Gradient开发的Llama-3 8b Gradient Instruct 1048k，其上下文长度超过了1048k，实现了从8k到超过1048k的大幅提升，甚至70b模型在NIAH（大海捞针）上取得了完美分数，展现出了强大的长文本处理能力.

二、上下文处理能力通俗解释

前面提到Llama3.1版本大语言模型的上下文处理能力为128K，意味着该模型在一次处理中能够容纳和理解的文本信息量大约为128,000个Tokens 。以下是一些具体的例子来帮助理解128K的概念：

• 文档处理：一般来说，一篇普通的新闻报道可能在1000字左右，若以平均每个汉字对应1.3个Tokens计算，128K的上下文处理能力可以容纳约98篇这样的新闻报道 。如果是处理学术论文，一篇较长的学术论文可能在5000字左右，即大约6500个Tokens，那么128K的容量可以同时处理近20篇这样的学术论文，从而能够更好地理解多篇相关论文之间的逻辑关系和综合信息.
• 故事创作与理解：一部中篇小说的篇幅一般在2万到6万字之间，以平均每个汉字对应1.3个Tokens计算，一部4万字左右的中篇小说约为52000个Tokens，128K的上下文处理能力可以容纳两部多这样的中篇小说，这使得模型在创作故事时能够参考更多的情节和设定，生成更连贯、更丰富的故事内容，或者在理解小说时能够更好地把握整体的情节脉络和人物关系.
• 网页内容分析：一个普通网页的文字内容，如果去除图片、视频等多媒体信息，其文字部分的Tokens数量通常在几万到十几万不等，128K的上下文窗口基本可以容纳一个结构相对简单、内容不是特别繁杂的网页的全部文字信息，从而对网页的主题、内容要点等进行分析和总结.
• 代码理解与生成：以常见的编程语言如Python为例，一行代码平均约为10 - 20个字符，一个简单的Python脚本可能有几百行代码，假设平均每行代码15个字符，一个1000行的脚本大约为15000个Tokens左右，128K的处理能力可以同时处理8个左右这样规模的脚本，这有助于模型更全面地理解代码的逻辑结构和功能，从而更准确地生成相关的代码片段、进行代码优化或解答与代码相关的问题.
• 对话交互：在一次较长时间的对话中，假设平均每轮对话输入和输出的文本Tokens数量为500左右，128K的上下文处理能力可以支持大约256轮的连续对话，能够更好地记住对话的历史信息和上下文语境，使生成的回复更加连贯、准确，更符合对话的逻辑和主题，提升对话的质量和用户体验.

三、其他大模型的处理能力

1、ChatGpt

ChatGPT本身并没有明确公开宣称其固定的上下文处理能力具体为多少 Tokens，但据一些研究和分析推测，ChatGPT的上下文处理能力大致在2048到4096 Tokens左右。以下是相关的分析：

• 训练架构和原理层面：ChatGPT基于Transformer架构，这种架构理论上可以处理较长序列的文本信息，但在实际应用中，受模型结构、参数设置以及计算资源等多方面因素的限制，其能有效处理的上下文长度是有限的。Transformer中的自注意力机制在计算每个位置的表示时，需要考虑输入序列中的所有位置，当序列过长时，计算量会呈平方增长，导致计算成本过高和可能的性能下降 。
• 实际应用表现层面：从用户与ChatGPT的交互体验来看，在一般的多轮对话场景中，如果对话轮次不是特别多，ChatGPT能够较好地记住之前的对话内容并生成连贯的回复。例如，在一个包含十几轮的日常对话中，它可以准确地理解和回应每一轮的问题，参考之前轮次中提到的人物、事件、观点等信息。然而，当对话轮次过多或者单轮输入的文本内容过长时，就可能会出现遗忘或混淆之前的部分信息，导致回复不够准确或连贯，这也间接说明了其上下文处理能力存在一定的边界.
• 与其他模型对比层面：与一些明确标注了较大上下文处理能力（如128K Tokens ）的语言模型相比，ChatGPT在处理长篇文档、复杂故事等需要大量上下文信息的任务时，表现出相对较弱的上下文长期记忆能力。比如在对一部中篇小说进行整体理解和分析时，ChatGPT可能无法像具有更大上下文窗口的模型那样全面、深入地把握小说的情节、人物关系等细节，因为其能够容纳和处理的上下文信息相对较少 。

2、Kimi

Kimi 的上下文处理能力非常强大，其标准版可以处理 20 万字长度的文本，探索版更是可以处理高达 200 万字长度的文本。
Kimi具有强大的上下文处理能力，主要有以下原因：

技术架构创新

• 预训练及模型对齐的重新设计：月之暗面团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发，不走“滑动窗口”“降采样”等技术捷径，攻克了很多底层技术难点，为实现长上下文处理能力奠定了基础.
• 独特的内存管理机制：采用了有效的内存管理策略，能够更高效地存储和调用长文本中的信息，减少因处理长文本而导致的内存溢出或信息丢失问题，从而支持对大量文本数据的处理和分析。

算法优化升级

• 注意力机制的改进：对注意力机制进行了优化，使其能够更精准地捕捉长文本中不同部分之间的语义关联和逻辑关系，更好地理解文本的上下文信息，进而生成更准确、更连贯的回复内容。
• 并行计算与分布式训练：利用并行计算和分布式训练技术，加速模型的训练和推理过程，提高处理效率，使其能够在短时间内处理大量的文本数据，从而支持更长的上下文长度。

强大的硬件支持与合作

• 借助火山引擎的能力：与火山引擎展开深度合作，利用其超大规模AI训练和推理加速方案，实现了数千卡单一大集群规模的常态化训练，为处理长文本提供了强大的计算资源支持。同时，火山引擎的机器学习平台还通过binpack背包算法减少碎片，并借助调度器定期处理，显著提升了GPU资源利用率，确保了任务的快速执行，为Kimi的长上下文处理能力提供了有力保障.
• 自身服务器性能优势：运行在强大的服务器上，这些服务器具备处理大量数据和复杂计算任务的能力，能够满足长文本处理过程中对硬件性能的高要求，保障模型的稳定运行和高效处理.

海量数据的有效利用

• 数据飞轮加持：应用了火山引擎数智平台旗下云原生大数据平台e-mapreduce和增长分析datafinder两大产品，并结合数据飞轮方法论，在数据资产层面大大降低了模型预处理的成本，在业务应用层面则为Kimi的精准投放、高效拉新保驾护航，为模型提供了更丰富、更优质的数据资源，有助于提升其对长文本的理解和处理能力.
• 大规模高质量数据集训练：基于大规模的高质量数据集进行训练，使模型能够学习到更丰富的语言表达和语义理解模式，从而更好地应对长文本中的各种复杂语言现象和语义关系，提高对长文本的处理效果。

研发团队的专业能力与努力

• 专业的技术人才：拥有一支专业的研发团队，他们在自然语言处理、机器学习、深度学习等领域具有深厚的技术积累和丰富的实践经验，能够不断探索和创新，攻克技术难题，为Kimi的长上下文处理能力的提升提供了坚实的技术支持。
• 持续的研发投入：月之暗面公司对Kimi的研发投入不断加大，致力于技术的持续创新和优化，使得Kimi的性能不断提升，上下文处理能力从20万字提升到200万字仅用了5个月左右的时间，展现了其强大的研发实力和快速的技术迭代能力.

3、其他国产LLM

以下是一些国产大语言模型及其上下文处理能力的介绍：

• 文心一言：文心一言的上下文处理能力较强，虽然没有明确公开的固定上限，但在实际使用中，能够较好地处理多轮对话和一定篇幅的文本内容，满足日常各种场景下的连贯性交互需求，如在连续提问十几个问题的情况下，依然能够准确地依据前文信息进行回答.
• 通义千问：通义千问目前可处理1000万文字长度的上下文 ，其在长文档处理方面表现出色，能够同时上传100个文件，每个不超过150mb，支持pdf、word、excel、markdown、epub、mobi、txt等多种常见的文件格式，并且能够较为准确地理解和生成与长文本相关的内容.
• 豆包：豆包通用模型pro版窗口尺寸最大可达128k，全系列可精调，具备强理解、生成、逻辑和记忆力，适用于问答、总结摘要、创作等通用场景.
• 讯飞星火：讯飞星火成为业界首个支持“长文本、长图文、长语音”的大模型，但未明确其具体的长文本长度上限。其通过多模态进行降维打击，以更好地满足用户高效知识获取的多元场景，摆脱了单纯的长文本长度竞争，在实际应用中展现出了较好的长文本处理能力，能够适应各种工作和学习场景中的长文本内容处理需求.
• 智谱清言：智谱清言基于的chatglm3模型经过升级后，上下文处理能力得到扩展，现在可以处理长达32k字符的对话上下文，并且在推理速度上也取得了显著的提升，能够理解和回应长文本对话，在多轮对话中表现出较强的性能.

原文地址：https://blog.csdn.net/gzjimzhou/article/details/144359050

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！