Langchain核心模块与实战[8]：RAG检索增强生成[loader机制、文本切割方法、长文本信息处理技巧]
Langchain核心模块与实战[8]：RAG（Retrieval Augmented Generation，检索增强生成）
RAG（Retrieval-Augmented Generation）技术是一种结合检索和生成功能的自然语言处理（NLP）技术。该技术通过从大型外部数据库中检索与输入问题相关的信息，来辅助生成模型回答问题。其核心思想是将传统的检索技术与现代的自然语言生成技术相结合，以提高文本生成的准确性和相关性。RAG模型由检索模块和生成模块组成，检索模块负责从知识库中检索相关信息，生成模块则利用这些信息生成最终的回答或文本。RAG技术的出现极大地提升了内容的准确性和相关性，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。
-
大模型有时会犯事实性错误，也就是可靠性问题（俗称“幻觉”）。生成的内容在表面上看起来合理、有逻辑，但实际上却存在错误的内容、引用来源或陈述。
-
大模型的数学和逻辑推理能力仍然需要加强。虽然GPT-4在某些考试中表现优异，但在面对一些精心设计的逻辑推理问题时，大模型的回答与随机答案相差无几。因为在进行深度推理时，即便大模型每一步的预测准确率都高达95%，但是当推理到20步时，最终的准确率将会是0.95的20次方，即不到36%，这是一个无法令人满意的结果。
-
大模型的形式语义理解能力有待提升。虽然大模型在一定程度上能够实现语义理
原文地址：https://blog.csdn.net/sinat_39620217/article/details/140643159
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！