搜索引擎中广泛使用的文档排序算法——BM25（Best Matching 25）

在搜索场景中，BM25能计算每个文档与查询的匹配度，从中找出最相关的文档，并按相关性高低排序展示。

要理解BM25，需要掌握以下几个关键概念：

1. 词频（Term Frequency, TF）：某关键词在文档中出现的次数。关键词出现越频繁，通常表示文档与查询的相关性越高。
2. 逆文档频率（Inverse Document Frequency, IDF）：衡量某关键词在整个文档集合中的稀有程度。稀有关键词的区分度更高，对评分贡献大，其计算公式为：【图1】
3. 文档长度归一化（Document Length Normalization）：调整文档长度对相关性评分的影响。避免长文档因为包含更多关键词而获得不公平的高分。
4. 参数 k1 和 b
- k1：控制词频对评分的影响程度。值越高，词频权重越大。
- b：控制文档长度归一化的强度。b=0时忽略文档长度，b=1时完全考虑。

BM25结合上述概念，通过以下步骤计算每篇文档的相关性得分——

计算IDF，然后计算每个关键词的得分【图2】，再将各关键词的得分相加，得到文档的总相关性得分。

举个栗子，假设有以下三个文档，查询关键词“猫 养护”：

- 文档1：包含“猫”和“养护”各2次，总长度100个词。
- 文档2：包含“猫”3次，总长度150个词。
- 文档3：包含“养护”1次，总长度80个词。

计算两个关键词的IDF【图3】后，再计算各文档的BM25得分，最终得出：

- 文档1：同时包含“猫”和“养护”，得分较高。
- 文档2：仅包含“猫”，但词频较高。
- 文档3：仅包含“养护”，且词频低，得分最低。

详细内容：

 Understanding the BM25 full text search algorithm | Evan Schwartz

原文地址：https://blog.csdn.net/ejinxian/article/details/144007740

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！