BM25检索算法 python

news/2024/5/19 12:06:30

1.简介

BM25（Best Matching 25）是一种经典的信息检索算法，是基于 TF-IDF算法的改进版本，旨在解决、TF-IDF算法的一些不足之处。其被广泛应用于信息检索领域的排名函数，用于估计文档D与用户查询Q之间的相关性。它是一种基于概率检索框架的改进，特别是在处理长文档和短查询时表现出色。BM25的核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。目前被广泛运用的搜索引擎ES就内置了BM25算法进行全文检索。

BM25算法的基本公式

在这里插入图片描述

  • Score(D,Q) 是文档 D 与查询 Q 的相关性得分。
  • qi 是查询中的第 i 个词。
  • f(qi, D)是词 qi 在文档 D 中的频率。
  • IDF(qi) 是词qi 的逆文档频率。
  • |D| 是文档 D的长度。
  • avgdl是所有文档的平均长度。
  • k1 和 b 是可调的参数，通常 k1 在1.2到2之间， b通常设为0.75。

IDF计算方法

在这里插入图片描述

  • N 是文档集合中的文档总数
  • n(q1)是包含词q1的文档数量
  • 词频 (f(qi, D)): 这是查询中的词 q_i在文档 D 中出现的频率。词频是衡量一个词在文档中重要性的基本指标。词频越高，这个词在文档中的重要性通常越大。
  • 逆文档频率 (IDF(qi)): 逆文档频率是衡量一个词对于整个文档集合的独特性或信息量的指标。它是由整个文档集合中包含该词的文档数量决定的。一个词在很多文档中出现，其IDF值就会低，反之则高。这意味着罕见的词通常有更高的IDF值，从而在相关性评分中拥有更大的权重。
  • 文档长度 (|D|): 这是文档D 中的词汇数量。文档长度用于调整词频的影响，因为较长的文档可能仅因为它们的长度就有更高的词频。
  • 平均文档长度 (avgdl): 这是整个文档集合中所有文档长度的平均值。它用于标准化不同文档的长度，以便可以公平比较不同长度的文档。
  • 可调参数 (k1 和 b):
    • k1 是一个正系数，用于控制词频的饱和度。较高的 k1 值意味着词频对评分的影响更大。
    • b 是用于控制文档长度对评分的影响的参数，取值在0到1之间。当 b=1 时，文档长度的影响最大；当b = 0 时，文档长度不影响评分。

2. 主要流程

1 数据预处理
  • 首先需要将文档进行数据预处理，包括分词、去除停用词、词干提取和标准化等步骤。
2 计算文档和查询条件中各个项的得分函数
  • 该步骤计算每个文档和查询条件中各个项的得分函数，并将其存储在倒排索引中。
3 计算文档与查询条件之间的匹配程度
  • 计算文档与查询条件之间的匹配程度得分。该步骤会计算所有匹配的文档的得分值，并按照得分值的大小对文档进行排序。
4 返回最匹配的文档
  • 返回最匹配的文档。

3. python 简单实现

import math
from collections import Counterclass BM25:def __init__(self, docs, k1=1.5, b=0.75):"""BM25算法的构造器:param docs: 分词后的文档列表，每个文档是一个包含词汇的列表:param k1: BM25算法中的调节参数k1:param b: BM25算法中的调节参数b"""self.docs = docsself.k1 = k1self.b = bself.doc_len = [len(doc) for doc in docs]  # 计算每个文档的长度self.avgdl = sum(self.doc_len) / len(docs)  # 计算所有文档的平均长度self.doc_freqs = []  # 存储每个文档的词频self.idf = {}  # 存储每个词的逆文档频率self.initialize()def initialize(self):"""初始化方法，计算所有词的逆文档频率"""df = {}  # 用于存储每个词在多少不同文档中出现for doc in self.docs:# 为每个文档创建一个词频统计self.doc_freqs.append(Counter(doc))# 更新df值for word in set(doc):df[word] = df.get(word, 0) + 1# 计算每个词的IDF值for word, freq in df.items():self.idf[word] = math.log((len(self.docs) - freq + 0.5) / (freq + 0.5) + 1)def score(self, doc, query):"""计算文档与查询的BM25得分:param doc: 文档的索引:param query: 查询词列表:return: 该文档与查询的相关性得分"""score = 0.0for word in query:if word in self.doc_freqs[doc]:freq = self.doc_freqs[doc][word]  # 词在文档中的频率# 应用BM25计算公式score += (self.idf[word] * freq * (self.k1 + 1)) / (freq + self.k1 * (1 - self.b + self.b * self.doc_len[doc] / self.avgdl))return score# 示例文档集和查询
docs = [["the", "quick", "brown", "fox"],["the", "lazy", "dog"],["the", "quick", "dog"],["the", "quick", "brown", "brown", "fox"]]
query = ["quick", "brown"]# 初始化BM25模型并计算得分
bm25 = BM25(docs)
scores = [bm25.score(i, query) for i in range(len(docs))]## query和文档的相关性得分：
## sores = [1.0192447810666774, 0.0, 0.3919504878447609, 1.2045355839511414]

在这个例子中，我们使用了四个文档和一个查询来计算相关性得分。查询是 [“quick”, “brown”]。得分如下：

  • 文档 1 (“the quick brown fox”): 得分约为 1.02
  • 文档 2 (“the lazy dog”): 得分为 0.0（因为它不包含查询中的任何单词）
  • 文档 3 (“the quick dog”): 得分约为 0.39
  • 文档 4 (“the quick brown brown fox”): 得分约为 1.20

这些得分反映了每个文档与查询之间的相关性。得分越高，表示文档与查询的相关性越强。在这个例子中，文档 4 与查询的相关性最高，其次是文档 1，文档 3 的相关性较低，而文档 2 与查询没有相关性。

4. 调用gensim实现

一般流程（对于中文）
  1. 构建corpus
    1.1 构建停用词词表（可加入部分高频词）
    1.2 分词
    1.3 去除停用词

2 训练BM25模型
3. 使用模型计算相似性

from gensim.summarization import bm25def test_gensim_bm25():corpus = [['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多'], ['第1', '个', '是', '应该', '第2', '个', '是'], ['不', '对', '应该', '就是', '差', '不', '多'], ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']]bm25Model = bm25.BM25(corpus)test_strs = [['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁'],['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁', '问题', '第1', '个'],['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁', '问题', '第1', '个','来', '问', '几', '个', '问题'],['应该', '差', '不', '多', '一定', '要', '退', '60', '岁'],['差', '不', '多', '一定', '要', '退'],['一定', '要', '差', '不', '多', '退'],['一定', '要', '退'],['一定', '差', '不', '多'],]for test_str in test_strs:scores = bm25Model.get_scores(test_str)print('测试句子：', test_str)for i, j in zip(scores, corpus):print('分值：{},原句：{}'.format(i, j))print('\n')if __name__ == '__main__':test_gensim_bm25()

运行结果：

测试句子： ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']
分值：0.2828807225045471,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0.226504790662966,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.42164043562468434,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：2.2007072441488233,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']测试句子： ['应该', '差', '不', '多', '一定', '要', '退', '60', '岁']
分值：0.202827468444139,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0.09756782248085916,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.42164043562468434,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：1.2213019690359779,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']测试句子： ['差', '不', '多', '一定', '要', '退']
分值：0.15212060133310423,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.3240726131438252,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：1.1406697377282669,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']测试句子： ['一定', '要', '差', '不', '多', '退']
分值：0.15212060133310423,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.3240726131438252,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：1.1406697377282669,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']测试句子： ['一定', '要', '退']
分值：0.0,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：0.898773043805134,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']测试句子： ['一定', '差', '不', '多']
分值：0.15212060133310423,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.3240726131438252,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：0.24189669392313295,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']

5. rank-bm25 （一个双线搜索引擎，用于查询一组文档并返回与查询最相关的文档）

安装

pip install rank_bm25
初始化

首先要做的是创建BM25类的一个实例，该实例读取文本语料库并对其进行一些索引：

from rank_bm25 import BM25Okapicorpus = ["Hello there good man!","It is quite windy in London","How is the weather today?"
]tokenized_corpus = [doc.split(" ") for doc in corpus]bm25 = BM25Okapi(tokenized_corpus)
# <rank_bm25.BM25Okapi at 0x1047881d0>

此包不进行任何文本预处理。如果你想做一些事情，比如降低词尾、删除词尾、词干等，你需要自己做。唯一的要求是类接收字符串列表，这些字符串是文档标记。

文档排名

我们已经创建了文档索引，我们可以向它提供查询，并查看哪些文档最相关：

query = "windy London"
tokenized_query = query.split(" ")doc_scores = bm25.get_scores(tokenized_query)
# array([0.        , 0.93729472, 0.        ])

除了获取文档分数，你也可以用来检索最佳文档：

bm25.get_top_n(tokenized_query, corpus, n=1)
# ['It is quite windy in London']

参考

心法利器[13] | 任务方案思考：句子相似度和匹配
ChatGLM 金融大模型决赛方案总结
rank-bm25 0.2.2
python根据BM25实现文本检索
相关性算法BM25的python实现
python借助elasticsearch实现精准查询与bm25查询
python实现内容检索子系统（BM25算法）
BM25，超全解释
史上最小白之BM25详解与实现
RAG提效利器——BM25检索算法原理和Python实现


http://www.mrgr.cn/p/66811870

相关文章

vue箭头函数、js-for循环、事件修饰符、摁键事件和修饰符、表单控制、完整购物车版本

vue箭头函数、js-for循环、事件修饰符、摁键事件和修饰符、表单控制、完整购物车版本

【箭头函数】1 <!DOCTYPE html>2 <html lang="en">3 <head>4 <meta charset="UTF-8">5 <title>Title</title>6 <script src="https://cdn.jsdelivr.net/npm/vue/dist/vue.js"></scrip…
阅读更多...
一道关于顺序栈的笔试题：判断一个包含(和)的字符串是否有效

一道关于顺序栈的笔试题：判断一个包含(和)的字符串是否有效

若有一个包括 ( 和 ) 的字符串string ，判断字符串是否有效。要求设计算法实现检查字符串是否有效，有效的字符串需满足以下条件： A.左括号必须用相同类型的右括号闭合。 B.左括号必须以正确的顺序闭合。 C.每个右括号都有一个对应的相同类型的左括号。 思路图：参考代码： b…
阅读更多...
Spring Boot 中Mybatis使用Like的使用方式和注意点

Spring Boot 中Mybatis使用Like的使用方式和注意点

说明 模糊查询在项目中还是经常使用的&#xff0c;本文就简单整理Mybatis中使用Like进行模糊查询的几种写法以及一些常见的问题。 使用Springboot简单配置一下Mybatis&#xff0c;然后进行说明。Springboot集成Mybatis这里就不做介绍了&#xff0c;这里我们主要介绍一下在mybat…
阅读更多...
HarmonyOS 鸿蒙隔离层设计

HarmonyOS 鸿蒙隔离层设计

在软件开发中，底层库的更换或升级是常见的需求，这可能由性能提升、新功能需求或安全性考虑等因素驱动。为了降低迁移成本，良好的设计模式至关重要。在版本迭代过程中，网络请求库可能会经历从A到B再到C的演进。为了实现业务层的无感切换，需要在各个请求库和业务代码之间封装…
阅读更多...
利用两个栈实现队列的入队出队以及判断队列是否为空

利用两个栈实现队列的入队出队以及判断队列是否为空

利用两个栈实现队列的入队出队以及判断队列是否为空bool enQueue(SeqStack_t *S1, SeqStack_t *S2, int x) {DataType_t temp = x;// 判断S1是否满if (SeqStack_IsFull(S1)){// 判断S2是空if (SeqStack_IsEmpty(S2))![image](uploading...){while (!SeqStack_IsEmpty(S1)){temp…
阅读更多...
寻道大学•逐梦启航

寻道大学•逐梦启航

寻道大学•逐梦启航 Seeking the Way, Dreaming of a New Beginning 都匀一中 —— 四川大学站 点此跳转 宣传片(bushi) 点此跳转 宣传片
阅读更多...
资源推荐

资源推荐

持续更新中......代码编辑器推荐 c/c++ : visual studio(初学者可用dev c++)点此跳转 python : pycharm点此下载 易语言：点此百度网盘下载 提取码 6678 点此蓝奏云盘下载编程刷题网站 洛谷 leetcode编程学习网站 c语言：bilibili黑马程序员 python：Python_子木 易语言：觅风易…
阅读更多...
Selenium IDE 常见错误笔记

Selenium IDE 常见错误笔记

错误1&#xff1a;Failed:Exceeded waiting time for new window to appear 2000ms 这个错误通常出现在第一次运行时&#xff0c;有两个原因&#xff1a; Firefox阻止了弹出式窗口&#xff0c;在浏览器设置里允许这个操作即可。 有些网站设置了反扒机制&#xff0c;脚本运行…
阅读更多...
浮动布局

浮动布局

浮动 应用场景文字环绕(最初的使用场景) 横向排列浮动的基本特点当一个元素浮动后，元素必定为块盒（会更改display为block） 浮动元素的包含块与常规流一致为父元素的内容盒。盒子尺寸宽度为auto时，适应内容高度 高度为auto时，与常规流一致，适应内容高度 margin为auto， 为…
阅读更多...
GK320刷机

GK320刷机

仓库地址 Gitee页面 https://gitee.com/jeanhua/super-engine-for-GK320 GitHub页面 https://github.com/jeanhua/super-engine-for-GK320 提供GK320/GK310智能电子学生证的破解刷机服务这本来是我高一(2020)用易语言写的，到高二基本完成所有工作，旨在破解这个学生证，给无聊…
阅读更多...
客服专用的宝藏快捷回复软件

客服专用的宝藏快捷回复软件

提起客服&#xff0c;很多人会觉得现在智能机器人的自动回复功能就可以将其替代。我始终不是这么认为的。人工客服始终能为一家店铺乃至一个企业起着非常关键重要的作用。今天就来给大家推荐一个客服专用的宝藏软件——客服宝聊天助手。感兴趣的话&#xff0c;可以发给你的客服…
阅读更多...
链式栈接口程序

链式栈接口程序

链式栈接口程序 目录链式栈接口程序以链表作为基础实现栈空间（链式栈）头文件链式栈的创建创建一个空的链式栈节点入栈出栈验证输出结果 以链表作为基础实现栈空间（链式栈） 图解头文件 /********************************************************************* file name: …
阅读更多...
Java_web的复习之maven

Java_web的复习之maven

Apache maven是一个项目管理和构建工具，它基于项目对象管理模型的概念，通过一小段描述信息来管理项目的构建 2.作用:方便的依赖管理 统一的项目结构 标准的项目构建流程 3.通过maven中的各种各样的插件，我们就可以完成对应的功能 例如通过编译插件就可以对项目进行编译，通过…
阅读更多...
两个栈模拟一个队列(Stacks Imitate Queue)

两个栈模拟一个队列(Stacks Imitate Queue)

/**************************************************************************** @file name: ：StacksSimulateQueue* @brief ：两个栈实现队列的功能* @author ：wvjnuhhail@126.com* @date ：2024/04/26* @version 1.0 ：V1.0* @property ：None* @note ：…
阅读更多...
如何解决IntelliJ IDEA 2024打开项目时频繁闪退问题

如何解决IntelliJ IDEA 2024打开项目时频繁闪退问题

&#x1f42f; 如何解决IntelliJ IDEA 2024打开项目时频繁闪退问题 &#x1f43e; 文章目录 &#x1f42f; 如何解决IntelliJ IDEA 2024打开项目时频繁闪退问题 &#x1f43e;摘要引言正文&#x1f4d8; 识别问题&#x1f4d9; 内存配置调整步骤1: 定位vmoptions文件步骤2: 修改…
阅读更多...
Rust HTTP 客户端：易于使用、功能强大 | 开源日报 No.228

Rust HTTP 客户端：易于使用、功能强大 | 开源日报 No.228

seanmonstar/reqwest Stars: 8.9k License: Apache-2.0 reqwest 是一个易于使用且功能强大的 Rust HTTP 客户端。 异步和阻塞客户端支持普通数据、JSON、urlencoded 和 multipart 数据格式可定制的重定向策略支持 HTTP 代理和系统原生 TLS 或 rustls 的 HTTPSCookie 存储功能…
阅读更多...
DSNeRF复现流程

DSNeRF复现流程

创建虚拟环境安装依赖 conda create -n DSNeRF python3.7pip install -r requirements.txt下载LLFF数据放在创建的data文件下 https://drive.google.com/file/d/1RjhfcbsywOvw0ts1AFSri91mKANvEVOa/view?uspsharing 下载预先训练好的模型 bash download_models.sh渲染视频…
阅读更多...
Qt xml示范

Qt xml示范

1.数据格式 #ifndef XML_DATA_H #define XML_DATA_H#include<QWidget>struct Student {int s_id;QString s_name;double s_math_score;double s_english_score;}; struct Teacher{int t_id;QString t_name;QVector<Student> t_students_v; };#endif // XML_DATA_H…
阅读更多...
java的runtime API

java的runtime API

阅读更多...
Day01 Web服务搭建站库分离路由访问

Day01 Web服务搭建站库分离路由访问

常规的Web应用搭建： 1.购买云服务器，购买域名2.云服务器去搭建中间件 windows server 安装web角色后默认可以直接通过域名打开网站首页3.下载并上传Web程序源码 zblog源码官网可下载4.添加网站并绑定域名目录 域名解析设置：二级域名ablog.whgojp.top 解析到该服务器zblog程序…
阅读更多...
推荐文章

Copyright @ 2022~2023