【MySQL 数据宝典】【磁盘结构】- 005 Undo log 撤销日志

news/2024/5/19 15:39:04

一、基本介绍

​ 每当我们要对一条记录做改动时(这里的改动可以指 INSERT 、 DELETE 、 UPDATE ),都需要留一手 -> 把回滚时所需的东西都给记下来

​ 你插入一条记录时,至少要把这条记录的主键值记下来,之后回滚的时候只需要把这个主键值对应的记录删掉就好了。

​ 你删除了一条记录,至少要把这条记录中的内容都记下来,这样之后回滚时再把由这些内容组成的记录插入到表中就好了。

​ 你修改了一条记录,至少要把修改这条记录前的旧值都记录下来,这样之后回滚时再把这条记录更新为旧值 就好了。

​ 我们说过 事务 需要保证 原子性 ,也就是事务中的操作要么全部完成,要么什么也不做。但是偏偏有时候事务执 行到一半会出现一些情况,比如:

  • 情况一:事务执行过程中可能遇到各种错误,比如服务器本身的错误,操作系统错误,甚至是突然断电导致 的错误。
  • 情况二:程序员可以在事务执行过程中手动输入 ROLLBACK 语句结束当前的事务的执行

这两种情况都会导致事务执行到一半就结束,但是事务执行过程中可能已经修改了很多东西,为了保证事务的原 子性,我们需要把东西改回原先的样子,这个过程就称之为 回滚 (英文名: rollback ),这样就可以造成一个 假象:这个事务看起来什么都没做,所以符合 原子性 要求。

undo log是一种用于撤销回退的日志,在数据库事务开始之前,MySQL会先记录更新前的数据到 undo log日志文件里面,当事务回滚时或者数据库崩溃时,可以利用 undo log来进行回退。

  • 产生: 事务开始前产生,事务提交时不会立刻删除 undo log ,innodb 会把事务对应的 undo log 放入到删除列表中,后面会通过现场 purge thread 进行回收处理。

注意: undo log 也会产生 redo log ,因为 undo log 也需要持久性保护。

1.1 作用总结

  1. 提供回滚操作
    • Undo Log实现了事务的原子性。在数据修改时,除了记录redo log外,还记录了相应的undo log。如果事务执行失败,可以利用undo log进行回滚。
    • Undo Log是逻辑日志,记录了数据修改的逻辑操作,如delete操作对应的是insert操作,update操作对应相反的update操作
  2. 提供多版本控制(MVCC)
    • MVCC通过Undo Log实现。当某行数据被其他事务锁定时,可以从undo log中获取该行记录之前的数据版本,从而实现了快照读。
    • 快照读:读取历史版本的数据,不需要加锁,适用于普通SELECT操作。
    • 当前读:读取最新版本的数据,适用于执行修改语句或者特定的SELECT语句。
      • select … lock in share mode、select … for update

二、工作原理

在更新数据之前,MySQL会提前生成undo log日志,并且在事务提交之前不会立即删除undo log,以确保事务执行失败时可以进行回滚操作。而undo log日志的删除是通过后台的purge线程进行回收处理的。
29.jpg
事务A执行update更新操作时,会按照以下步骤进行:

  1. 将旧版本数据备份到对应的undo buffer中。
  2. 将undo buffer中的数据持久化到磁盘中的undo log文件中。
  3. 执行update操作,将新的数据持久化到磁盘。

在事务A执行的过程中,如果事务B对数据进行了查询,根据MySQL的MVCC机制,事务B会读取到数据的快照版本,即事务A更新之前的版本。这样可以保证事务B读取到的是一致的数据视图,即使事务A正在更新数据。

2.1 存储机制

为了保证事务并发操作时,在写各自的undo log时不产生冲突,InnoDB采用回滚段的方式来维护undo log的并发写入和持久化。
回滚段概述

  • InnoDB使用回滚段来维护并发事务的Undo Log写入和持久化。
  • 每个回滚段包含多个Undo Log Segment,是管理Undo Log的基本单位。
  • 回滚段数量:InnoDB拥有128个回滚段。
  • 每个回滚段中Undo Log Segment数量:每个回滚段包含1024个Undo Log Segment。
  • 支持的Undo操作数量:因此,InnoDB支持128 * 1024个Undo操作。

并发事务执行限制

  • 最多支持的并发事务数量:由Undo Log Segment数量决定,即128 * 1024。
  • 最大支持事务并发数计算:每个事务对应一个Undo Log,最多支持131072个并发事务执行。

事务示例

START TRANSACTION; -- 开启事务A-- 执行更新操作
UPDATE table_name SET column_name = value WHERE condition;COMMIT; -- 提交事务A-- 开启另一个事务B
START TRANSACTION;-- 执行查询操作
SELECT * FROM table_name WHERE condition;COMMIT; -- 提交事务B

2.2 undo Log 的存储

事务 ID

事务执行过程中在对某个表执行增、删、改操作时,InnoDB就会给这个事务分配一个唯一的事务ID。
可以通过 information_schema.INNODB_TRX 来查询当前系统中运行的事务信息.

START TRANSACTION;select * from test1.a1;
commit;
--trx_id 就是事务ID,InnoDB 在内存维护了一个全局变量来表示事务ID,每当要分配一个事务ID时,就获取这个变量值,然后把这个变量自增1
select trx_id , trx_state ,trx_started,trx_isolation_level
from information_schema.INNODB_TRX;

行记录的隐藏列

InnoDB引擎管理的数据表中每行行记录,都存在着三个隐藏列
image.png

  • DB_ROW_ID : 如果没有为表显式的定义主键,并且表中也没有定义唯一索引,那么InnoDB会自动为表添加一个row_id的隐藏列作为主键。
  • DB_TRX_ID : 事务中对某条记录做增删改时,就会将这个事务的事务ID写入到trx_id中.
  • DB_ROLL_PTR: 回滚指针,指向undo log的指针

Insert 语句的 Undo Log 回滚日志结构

插入一条数据对应的undo操作其实就是根据主键删除这条数据就行了。
所以 insert 对应的 undo log 主要是把这条记录的主键记录上
image.png

  • start、end:指向记录开始和结束的位置。
  • 主键列信息:记录INSERT这行数据的主键ID信息,或者唯一列信息。
  • table id:表空间ID。
  • undo no:在当前事务中 undo log 的编号,从0开始。
  • undo type:undo log 的类型,insert语句的undo log类型是 TRX_UNDO_INSERT_REC

undo 回滚链

通过一个事物操作,我们一起来看一下回滚链的形成
image.png

三、相关参数

MySQL 与undo相关的参数设置:

mysql> show variables like '%undo%';
+--------------------------+------------+
| Variable_name            | Value      |
+--------------------------+------------+
| innodb_max_undo_log_size | 1073741824 |
| innodb_undo_directory    | ./         |
| innodb_undo_log_truncate | OFF        |
| innodb_undo_logs         | 128        |
| innodb_undo_tablespaces  | 0          |
+--------------------------+------------+mysql> show global variables like '%truncate%';
+--------------------------------------+-------+
| Variable_name                        | Value |
+--------------------------------------+-------+
| innodb_purge_rseg_truncate_frequency | 128   |
| innodb_undo_log_truncate             | OFF   |
+--------------------------------------+-------+
  • innodb_max_undo_log_size
    • 表示每一个undolog对应的日志文件的最大值,默认最大值为1GB大小,默认初始化大小为10MB。
    • 日志文件达到该阈值之后,且参数 innodb_undo_log_truncate=ON,才会触发truncate回收(收缩)动作,被truncate后的表空间文件大小缩小到undolog表空间数据文件默认的1OMB大小。否则即便是到达最大值之后,也不会自动回收undolog的表空间。
  • innodb_undo_directory
    • 指定undo log日志的存储目录,默认值为 ./。
  • **innodb_undo_logs **
    • 在MySQL5.6版本之后,可以通过此参数自定义多少个rollback segment,默认值为128。
  • innodb_undo_tablespaces
    • 设置undo独立表空间个数,范围为0-128, 默认为0,0表示表示不开启独立undo表空间 且 undo日志存储在ibdata文件中。
    • 什么时候需要来设置这个参数 ?
      • 当DB写压力较大时,可以设置独立undo表空间,把undo从 ibdata文件中分离开来,指定 innodb_undo_directory 目录存放,可以制定到高速磁盘上,加快undo log 的读写性能。
  • innodb_undo_log_truncate
    表示是否开启自动收缩undolog的表空间的操作。如果配置为ON,并且配置了2个或2个以上的undolog表空间数据文件,当某一个日志文件大小超过设置的最大值之后,就会自动的收缩表空间数据文件。

在回收表空间数据文件的时候,被回收的表空间数据文件会临时下线,为了保证undolog一直有地方可以写,此时要保证至少还有1个undolog日志文件是在线的。这就是要求innodb_undo_tablespaces>=2的根本原因


http://www.mrgr.cn/p/55618688

相关文章

maven仓库下载不下来的包如何自己安装(本地宝导入到maven仓库)

1.下载jar包 https://mvnrepository.com/ 在官网上搜索jar包,点击下载2.将jar包放在一个没有中文的路径下(我放在了D盘根路径下) 打开CMD框执行下面的命令 mvn install:install-file -Dfile=D:\kingbase8-8.6.0.jar -DgroupId=com.kingbase -DartifactId=kingbase8 -Dversio…

在PostgreSQL中如何实现递归查询,例如使用WITH RECURSIVE构建层次结构数据?

文章目录 解决方案使用WITH RECURSIVE进行递归查询示例代码 总结 在PostgreSQL中,递归查询是一种非常强大的工具,它可以用来查询具有层次结构或树形结构的数据。例如,你可能会在员工-经理关系、目录结构或组织结构图中遇到这样的数据。为了处…

ZStack教育云计算解决方案入选高质量数字化转型技术解决方案集

近日,中国信通院“铸基计划”《高质量数字化转型技术解决方案(2023年度)》(以下简称“方案集”)发布,云轴科技ZStack智慧教育云计算解决方案入选《高质量数字化转型技术解决方案集》。 为促进数字化转型相…

HarmonyOS NEXT 实战开发—Grid和List内拖拽交换子组件位置

本示例分别通过onItemDrop()和onDrop()回调,实现子组件在Grid和List中的子组件位置交换。介绍 本示例分别通过onItemDrop()和onDrop()回调,实现子组件在Grid和List中的子组件位置交换。 效果图预览使用说明:拖拽Grid中子组件,到目标Grid子组件位置,进行两者位置互换。 拖拽…

An Analysis of Sequential Recommendation Datasets

目录概统计角度论证实验论证代码Woolridge D., Wilner S. and Glick M. An analysis of sequential recommendation datasets. PERSPECTIVES, 2021.概 本文讨论了 MovieLens 系列数据集是否适用于序列推荐. 统计角度论证作者为了论证 MovieLens 不适合作为序列推荐数据集, 首先…

Docker(二十)-Docker容器CPU、memory资源限制

背景 在使用 docker 运行容器时,默认的情况下,docker没有对容器进行硬件资源的限制,当一台主机上运行几百个容器,这些容器虽然互相隔离,但是底层却使用着相同的 CPU、内存和磁盘资源。如果不对容器使用的资源进行限制,那么容器之间会互相影响,小的来说会导致容器资源使用…

Docker(十七)-修改Docker容器启动配置参数

有时候,我们创建容器时忘了添加参数 --restart=always ,当 Docker 重启时,容器未能自动启动,现在要添加该参数怎么办呢,方法有二: 1、Docker 命令修改 docker container update --restart=always 容器名字 2、直接改配置文件 首先停止容器,不然无法修改配置文件 配置文件…

Docker(十四)-Docker四种网络模式

Docker 安装时会自动在 host 上创建三个网络,我们可用 docker network ls 命令查看:none模式,使用--net=none指定,该模式关闭了容器的网络功能。 host模式,使用--net=host指定,容器将不会虚拟出自己的网卡,配置自己的IP等,而是使用宿主机的IP和端口。 bridge模式,使用…

Ubuntu 安装 Harbor

一、安装 docker 原文参考传送门 1st 卸载系统自带的 docker 应用 for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done 2nd 设置Docker 的apt源 # Add Dockers official GPG key: sudo…

SpanBert学习

SpanBERT: Improving Pre-training by Representing and Predicting Spans 核心点 提出了更好的 Span Mask 方案,也再次展示了随机遮盖连续一段字要比随机遮盖掉分散字好;通过加入 Span Boundary Objective (SBO) 训练目标,增强了 BERT 的性…

流量分析(buuctf版)

1.被嗅探的流量分析题目为文件传输的数据文件传输一般直接找POST(大写)包搜索框搜素http.request.method==POST得到两个包体,其中一个含有图片文件打开含图片的包体向下滑动得到flag,flag为flag{da73d88936010da1eeeb36e945ec4b97}2.easycap翻译为简单的帽子,感觉没什么特…

python包:torchvision

torch 是一个偏向于底层的包, 做一些较为基础 矩阵运算对于不同的样本 比如图像, 声音 ,文字, 之类,有更加针对性的包比如,针对图片 他的矩阵处理专用包就是:torchvision这个就需要 单独安装,这个包的体积不是很大,我们可以直接尝试 安装pip install torchvision…

推荐一款websocket接口测试工具

网址:Websocket在线测试-Websocket接口测试-Websocket模拟请求工具 http://www.jsons.cn/websocket/ 很简单输入以ws开后的网址就可以了 这个网址是你后台设置的 如果连接成功会砸提示框内显示相关字样,反之则不行

1名工程师轻松管理20个工作流,创业企业用Serverless 让数据处理流程提效

北京语势科技有限公司成立于2023年6月,语势科技定位为“智能投资时代的主题入口”,在资管行业从以机构为核心转向以用户为核心的变革时代,通过打造主题投资引擎,赋能普惠投资一体化,打造以投资者和资管机构为主题和核心、自然语言交互形式为入口的“新桥梁”。 语势科技日…

MIGO BAPI BAPI_GOODSMVT_CREATE 各种类型使用汇总

***********GOODSMVT_CODE取值含义********01 MB01*02 MB31*03 MB1A "发*04 MB1B "转储*05 MB1C "其它收货*06 MB11*07 MB04 经常会遇到一些自定义的移动类型,但是并不知道对应的goodsmvt_code是多少。可以用如下方法进行查找 首先…

在PostgreSQL中如何有效地批量导入大量数据,并确保数据加载过程中的性能和稳定性?

文章目录 解决方案1. 使用COPY命令2. 调整配置参数3. 禁用索引和约束4. 使用事务5. 并发导入 总结 在PostgreSQL中,批量导入大量数据是一个常见的需求,特别是在数据迁移、数据仓库填充或大数据分析等场景中。为了确保数据加载过程中的性能和稳定性&#…

CSAPP Lab 7 Malloc Lab

本次实验的内容也比较清晰,只需要完成一个手写的 malloc 动态内存分配器即可。 书上第 \(9\) 章第 \(9\) 节介绍了这样的分配器的实现方法。 实验要求 本次实验提供了基本的框架,需要完成下面几个函数: int mm_init(void); void *mm_malloc(size_t size); void mm_free(void…

ROS分布式通讯配置

4WD 必读:分布式通讯是相对于用虚拟机来连接小车上主机来说,如果是 4WD 笔记本无主 机用户,不存在分布式通讯一说。 1.4WD 用户单笔记设置一,连接底盘和雷达还有摄像头。 因为虚拟机带宽问题,无法保证摄像头正常运行。…

PeLK:101 x 101 的超大卷积网络,同参数量下反超 ViT | CVPR 2024

最近,有一些大型内核卷积网络的研究,但考虑到卷积的平方复杂度,扩大内核会带来大量的参数,继而引发严重的优化问题。受人类视觉的启发,论文提出了外围卷积,通过参数共享将卷积的复杂性从 \(O(K^{2})\) 降低到 \(O(\mathrm{log} K)\),有效减少 90% 以上的参数数量并设法将…

CSAPP Lab5 Cache Lab

到实验 5 啦! 这次的实验是有关高速缓存的。 让我们先来复习一下高速缓存的基础知识吧! 复习 高速缓存的结构在一个存储器地址有 \(m\) 位的系统上,一共有 \(M = 2^m\) 个地址。假设高速缓存被组织成一个有 \(S = 2^s\) 个高速缓存组的数组,其中每个组包括 \(E\) 个高速缓存…