【text2sql】ReFSQL检索生成框架
论文标题为《ReFSQL: A Retrieval-Augmentation Framework for Text-to-SQL
Generation》，发表在 EMNLP 2023 上。ReFSQL框架通过结构增强检索器来获取与当前问题语义和模式结构相似的样本，然后通过对比学习机制来引导模型学习到这些样本的特定知识，最终生成准确的SQL查询。论文通过在多个数据集上的实验验证了该方法的有效性，并与多个基线模型进行了比较，证明了其优越的性能。
论文主要贡献
论文提出了一个新的检索增强框架用于文本到SQL查询的生成任务。该框架能够适应具有各种固有SQL特性的样本，并弥补特定知识与一般知识之间的差距。还设计了一个结构增强检索器，通过问题语义和模式结构以无监督的方式识别具有可比性特定知识的样本。提出了一种马氏距离对比学习方法，该方法有助于将样本转移到由检索到的样本构建的特定知识分布中。
论文方法
1. 结构增强检索器(Structure-enhanced Retriever)
结构增强检索器的目标是识别具有相似特定知识的样本，以便模型能够获取到关于相似SQL语法的先验知识。这一部分由两个子模块组成：
1.1 SQL结构增强问题检索器(SQL-Structure-enhanced Question Retriever)
这个检索器通过SQL查询的结构信息来增强问题的表示。利用SQL查询的树结构来量化它们之间的相似性，选择与当前样本结构相似的SQL查询来作为正样本。
1.2 链接结构模式检索器(Linking-Structure-based Schema Retriever)
这个模块关注于模式结构，并使用神经网络模型进行重排序任务。它构建了一个交互图，该图捕获了问题和数据库之间的多种关系，然后通过无监督学习方法来获取交互图的表示。
2. 生成器(Generator)
生成器的目标是弥补特定知识与一般知识之间的差距。它由编码器和解码器组成：
2.1 编码器(Encoder)
编码器可以替换为不同的预训练模型，论文中以T5模型为例。
2.2 解码器(Decoder)
解码器引入了对比学习机制，以指导样本表示向相似样本的分布靠近，远离不相似样本的分布。
3. 对比学习(Contrastive Learning)
为了优化对比学习的效果，论文提出了一种更精细的策略来构建对比样本。通过对比学习，引导样本向相似语义样本的分布靠近。
4. Mahalanobis对比学习机制(Mahalanobis Contrastive Learning)
为了将样本表示转移到相似语义样本的分布中，并远离不相似样本的分布，论文提出了使用马氏距离对比机制。马氏距离考虑了数据的协方差结构，能够更好地度量样本与分布之间的距离。
5. 训练细节(Training Details)
训练阶段的损失主要由两部分组成：最大似然估计损失(MLE loss)和对比损失(contrastive loss)。通过结合这两种损失，模型能够同时学习到准确的SQL查询生成和缩小特定知识与一般知识之间的差距。
模型表现：
原文地址：https://blog.csdn.net/m0_46686599/article/details/142818040
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！