OceanBase数据库日常运维快速上手

news/2024/5/5 19:45:40

这里为大家汇总了从租户创建、连接数据库，到数据库的备份、归档、资源配置调整等，在OceanBase数据库日常运维中的操作指南。

创建租户

方法一：通过OCP 创建

  1. 确认可分配资源

想要了解具体可分配的内存量，可以通过【资源管理】功能来查看各节点的剩余资源情况。

2. 新建租户

3. 填写租户信息

zone的优先级主要通过设置primary_zone来确定leader的优先顺序。在优先级完全一致的情况下，leader会均匀地分布在所有节点上。

方法二：手动创建

1. 确认可分配资源

新租户可以分配的内存大小为 memory_limit - system_memory - sys 租户内存，CPU 数量为 cpu_count - sys 租户 cpu。

# 查询参数
show parameters where name in ('memory_limit','system_memory','cpu_count');
# 查询 sys 租户资源
select * from DBA_OB_UNIT_CONFIGS;

2. 创建租户

# 创建资源规格，5C14G，日志40G，IOPS 10000000。
create resource unit unit_1 max_cpu 5, min_cpu 5, memory_size '15G', log_disk_size '50G', max_iops 10000000;
# 创建资源池，指定 资源规格以及 zone_list。
create resource pool pool_1 unit = 'unit_1', unit_num = 1, zone_list = ('zone1','zone2','zone3');
# 创建租户，指定副本数量3，primary_zone，以及资源池和白名单。
create tenant perf replica_num = 3,primary_zone='RANDOM', resource_pool_list=('pool_1') set ob_tcp_invited_nodes='%';

3. 修改 root 用户密码

创建完租户，默认的 root 密码为空，如果需要可以修改密码。

# 租户的 root 用户登陆后执行修改 sql
set password for root=password('xxx');

连接数据库

主要有两种连接方式：

1. 通过 OBServer 直连（默认端口 2881）

mysql -h xxx.xxx.xxx.xxx -uroot@sys -P2881 -p -c -A oceanbase

2. 通过 OBProxy 连接（默认端口2883）

mysql -h xxx.xxx.xxx.xxx -uroot@sys#obdemo -P2883 -p -c -A oceanbase

使用 OBProxy 连接时，用户信息需要包括【用户名@租户名#集群名】；如果是 OBServer 连接，那么只需要包括【用户名@租户名】。

参数和变量

区别：

参数（parameter）可以控制集群的负载均衡、合并时间、合并方式、资源分配和模块开关等功能，主要针对集群、Zone、OBServer 和 租户级别进行配置。

参数分集群级别和租户级别，可以通过查询 SHOW PARAMETERS LIKE'max_syslog_file_count'; 中的scope 列来确定，cluster为集群级别，tenant为租户级别。

变量（variable）可以控制数据库系统的各种行为，如缓存大小、并发连接数等，主要是针对租户级别内 Global 和 Session 级别进行设置。

查看参数和变量

OBServer 参数 ：

# 方法一
show parameters like '%enable_rebalance%';
# 方法二
show parameters where name in ('memstore_limit_percentage','freeze_trigger_percentage','writing_throttling_trigger_percentage');
# 方法三
select * from oceanbase.GV$OB_PARAMETERS where NAME in ('memstore_limit_percentage','freeze_trigger_percentage','writing_throttling_trigger_percentage');

OBProxy 参数：

show proxyconfig like '%query_digest_time_threshold%';

查看变量

show variables like '%timeout%';

修改参数和变量

要注意，这里的参数修改会自动变更到安装目录的 etc 下的配置文件，但是如果是 OBD 创建的集群，不会自动同步到 OBD 的配置文件中，如果后续需要使用 OBD 重启，那么需要手动修改 OBD 的配置，防止启动后配置有差异影响业务。

OBServer 参数 ：

alter system set enable_rebalance=False;

OBProxy 参数：

alter proxyconfig set query_digest_time_threshold='101ms';

修改变量

# 设置全局级别变量，当前 session 不生效，新 session 生效。
set global ob_query_timeout=10000000;
# 设置会话级别变量，当前 session 生效，其他 session 不生效。
set session ob_query_timeout=10000000;

转储合并

转储

主动触发转储

## 不带租户则表示所有租户
alter system minor freeze tenant=xxx;

查看进行中的转储任务

SELECT * FROM oceanbase.GV$OB_TABLET_COMPACTION_PROGRESS WHERE TYPE='MINI_MERGE'\G;

需要关注的字段：

  • TYPE：表示 Compaction 任务的类型。
    • MINOR_MERGE：表示 Minor，多个 Mini SSTable 合成一个 Minor SSTable。
    • MINI_MERGE：表示转储，冻结 MemTable 通过转储变成 Mini SSTable。
    • MEDIUM_MERGE：表示分区级合并。
    • MAJOR_MERGE：表示合并。
    • META_MAJOR_MERGE ：Buffer 表转储。
  • STATUS：表示任务状态。任务正在运行中时，该字段值为 NODE_RUNNING。
  • DATA_SIZE：表示需要转储的总数据量。
  • UNFINISHED_DATA_SIZE：表示转储未完成的数据量。
  • ESTIMATED_FINISH_TIME：表示预计完成时间。

查看转储历史

SELECT * FROM oceanbase.GV$OB_TABLET_COMPACTION_HISTORY WHERE TYPE='MINI_MERGE'\G

合并

手动触发合并

## 不带租户则表示所有租户
ALTER SYSTEM MAJOR FREEZE TENANT = xxx;

查看租户各个zone的合并过程

SELECT*FROM oceanbase.CDB_OB_ZONE_MAJOR_COMPACTION\G

查看所有租户的合并信息

SELECT*FROM oceanbase.CDB_OB_MAJOR_COMPACTION\G

查看合并历史

SELECT * FROM oceanbase.GV$OB_TABLET_COMPACTION_HISTORY where type='MAJOR_MERGE' order by START_TIME desc limit 5\G

问题分析常用

查看耗时超过 5s 的转储合并任务。

SELECT * FROM GV$OB_MERGE_INFO WHERE tenant_id=1002 AND (END_TIME-START_TIME)>5 LIMIT 10;

查看某张表的合并记录。

SELECT * FROM GV$OB_TABLET_COMPACTION_HISTORY WHERE TABLET_ID IN (SELECT TABLET_ID FROM oceanbase.CDB_OB_TABLE_LOCATIONS WHERE TABLE_NAME = 'sbtest1') ORDER BY START_TIME DESC;

查看转储次数以及内存阈值

select * from gv$ob_memstore;

查看转储配置

show parameters where name in ('memstore_limit_percentage','freeze_trigger_percentage','writing_throttling_trigger_percentage','memory_limit');

备份归档

备份

查看备份信息

查看当前所有租户的备份任务

select * from  CDB_OB_BACKUP_TASKS\G
SELECT * FROM oceanbase.CDB_OB_BACKUP_JOBS\G

查看历史备份任务

SELECT * FROM oceanbase.CDB_OB_BACKUP_JOB_HISTORY\G
SELECT * FROM oceanbase.CDB_OB_BACKUP_TASK_HISTORY\G

查看备份路径信息

SELECT*FROM oceanbase.CDB_OB_BACKUP_PARAMETER\G

查看备份集的文件状态

SELECT * FROM oceanbase.CDB_OB_BACKUP_SET_FILES

操作备份任务

指定备份路径

ALTER SYSTEM SET DATA_BACKUP_DEST='data_backup_path'  [TENANT = mysql_tenant];

启动备份

ALTER SYSTEM BACKUP DATABASE [TENANT = mysql_tenant];  // 系统租户发起则全部租户，业务租户发起则自己

停止备份

ALTER SYSTEM CANCEL BACKUP [TENANT = mysql_tenant];

强制停止备份

ALTER SYSTEM CANCEL BACKUP FORCE;

更改备份目的端。

一定要先停止备份任务，并且保证新的备份目的端所在的目录为空以后再更改

ALTER SYSTEM SET DATA_BACKUP_DEST='data_backup_path'  [TENANT = mysql_tenant];

日志归档

查看归档信息

查看租户的归档模式

SELECT TENANT_NAME, LOG_MODE FROM oceanbase.DBA_OB_TENANTS WHERE TENANT_TYPE ='USER‘

查看 piece信息

SELECT * FROM oceanbase.CDB_OB_ARCHIVELOG_PIECE_FILES\G

查看归档状态

SELECT * FROM oceanbase.CDB_OB_ARCHIVELOG\G

查看归档历史

SELECT * FROM oceanbase.CDB_OB_ARCHIVELOG_SUMMARY\G

查看归档参数

SELECT * FROM oceanbase.CDB_OB_ARCHIVE_DEST;

操作日志归档

配置归档目的端

ALTER SYSTEM SET LOG_ARCHIVE_DEST='LOG_ARCHIVE_DEST'  [TENANT = mysql_tenant];

设置归档目的端的状态

# 启动
ALTER SYSTEM SET LOG_ARCHIVE_DEST_STATE='ENABLE' TENANT = tenant_name;
# 暂停
ALTER SYSTEM SET LOG_ARCHIVE_DEST_STATE='DEFER' TENANT = tenant_name;

启动日志归档

ALTER SYSTEM ARCHIVELOG [TENANT = mysql_tenant];

停止日志归档

ALTER SYSTEM NOARCHIVELOG [TENANT = mysql_tenant];

更改归档目的端，跟更改备份目的端同理，一定要先关闭归档，再改目的端

强制取消数据备份+日志备份：

ALTER SYSTEM CANCEL ALL BACKUP FORCE;

物理恢复

可以参考官网

OceanBase分布式数据库-海量数据 笔笔算数

调整资源占用大小

调整 OBServer 的资源占用

CPU扩缩容

注意：集群下的其他配置可能会影响该配置项的生效方式。建议在该配置项配置后，在 GV$OB_SERVERS 内部表中查看 CPU_CAPACITY 字段实际生效的值。若未动态生效，需要重启整个集群。

ALTER SYSTEM SET cpu_count=32;

内存扩缩容

ALTER SYSTEM SET memory_limit='32G';   // 优先级最高
或者
ALTER SYSTEM SET memory_limit_percentage='80';

缩容的话需要注意，memory_limit 的值必须大于 OBServer 节点实际已使用的内存。

SELECT value/1024/1024/1024 used_gb FROM v$sysstat WHERE name LIKE '%observer memory%' AND con_id = 1 AND stat_id=140008 AND name='observer memory used size';

磁盘扩容

ALTER SYSTEM SET datafile_size='80G';  // 优先级最高
或者
ALTER SYSTEM SET datafile_disk_percentage=90;

磁盘缩容

只有单zone情况下不支持缩减磁盘空间，多zone情况下可以缩减磁盘空间；多zone的模式的话，可以先下线observer，然后再上线，上线时可以指定参数启动；

bin/observer -o "datafile_size='100G'"

调整租户的资源占用

举例：ALTER RESOURCE UNIT unit1 MAX_CPU 2, MEMORY_SIZE '5G';

语法：

ALTER RESOURCE UNIT unit_name
MEMORY_SIZE [=] 'size_value',
MAX_CPU [=] cpu_num,
[MIN_CPU [=] cpu_num,]
[MAX_IOPS [=] iops_num,]
[MIN_IOPS [=] iops_num,]
[IOPS_WEIGHT [=]iopsweight,]
[LOG_DISK_SIZE [=] 'size_value'];

统计信息

手动收集

方法一：

# 收集 test 库下的 test3 表
call dbms_stats.gather_table_stats('test','test3');
# 收集 test 下的所有表，并且并行度 128
call dbms_stats.gather_schema_stats('test', degree=>128);

方法二：

ALTER SYSTEM SET enable_sql_extension = true;
ANALYZE TABLE test3 COMPUTE STATISTICS;

详情参照：

OceanBase分布式数据库-海量数据 笔笔算数

查看表的统计信息

select * from DBA_TAB_STATISTICS

执行计划缓存

查看

select * from oceanbase.GV$OB_PLAN_CACHE_PLAN_stat where query_sql like '%xx%';

清空缓存

1、清空指定的计划缓存。

ALTER SYSTEM FLUSH PLAN CACHE sql_id='xxxxxxxxxxx'  global;   // 不加 global 只会清理本地的plan cache

2、清空 aa、bb两个租户的所有计划缓存

ALTER SYSTEM FLUSH PLAN CACHE TENANT = 'aa','bb' global;

3、清空租户下面某个库的所有计划缓存

ALTER SYSTEM FLUSH PLAN CACHE databases='myob1' tenant='tenant1' GLOBAL;

日志保留

修改方式

通过 ALTER SYSTEM SET enable_syslog_recycle=True;

相关参数

  • enable_syslog_wf控制是否生成独立的wf结尾的日志，wf指warn级别以上的日志，关闭这个效果是只存在observer.log了。

注意：关闭后实际还会有一个observer.log.wf，但以时间戳结尾的历史日志文件不会再有对应的wf文件，实现的小问题

  • max_syslog_file_count：控制的磁盘里历史日志的最大保留数量。
  • enable_syslog_recycle：用于设置是否开启回收系统日志，仅当 max_syslog_file_count设置为非 0 正数时生效。
  • enable_async_syslog：是否启用异步写日志功能，默认为 True。关闭后将使用同步方式写日志，可以保证 observer 宕机前写完所有日志，但性能较差，不建议关闭。
  • syslog_io_bandwidth_limit：日志限流量，默认为 30M。
  • syslog_level：打印的日志的最低级别，日志级别见上文，默认为 WDIAG。

实例启动

启动命令

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/admin/oceanbase/libcd /home/admin/oceanbase && bin/observer

配置调整

调整租户配置

修改 primary_zone

ALTER TENANT xxx PRIMARY_ZONE=RANDOM;

修改 unit_num

调大 unit

ALTER RESOURCE TENANT mysql001 UNIT_NUM =2;

调小 unit

unit group 可以通过 DBA_OB_UNITS 查询

方法一：随机删除 unit group

ALTER RESOURCE TENANT mysql001 UNIT_NUM = 1;

方法二：指定 unit group 删除实现调小

ALTER RESOURCE TENANT mysql001 UNIT_NUM = 1 DELETE UNIT_GROUP =(1006);

查看执行状态

SELECT * FROM oceanbase.DBA_OB_TENANT_JOBS WHERE JOB_TYPE='ALTER_RESOURCE_TENANT_UNIT_NUM' AND TENANT_ID=1006;

确认迁移后的信息

SELECT * FROM oceanbase.DBA_OB_UNITS WHERE UNIT_ID =1006;

迁移 unit

租户 mq_t1 中 UNIT_ID = 1006 的 Unit 迁移到同 Zone 的另一个节点。

ALTER SYSTEM migrate unit =1006 destination ='xx.xx.xx.158:2882';

查看状态

SELECT * FROM oceanbase.DBA_OB_UNIT_JOBS WHERE JOB_TYPE ='MIGRATE_UNIT';

确认迁移后的信息

SELECT * FROM oceanbase.DBA_OB_UNITS WHERE UNIT_ID =1006;

修改 Locality

修改

ALTER TENANT mq_t1 locality="F{1}@sa128_obv4_1,F{1}@sa128_obv4_2,F{1}@sa128_obv4_3";

查看状态

SELECT * FROM oceanbase.DBA_OB_TENANT_JOBS WHERE JOB_TYPE ='ALTER_TENANT_LOCALITY';

确认修改结果

SELECT TENANT_ID,TENANT_NAME,TENANT_TYPE,PRIMARY_ZONE,LOCALITY FROM oceanbase.DBA_OB_TENANTS;

RS 切换

切换rs leader

alter system switch rootservice leader zone='z1';

查看 RS 任务

select * from __all_rootservice_event_history order by 1 desc limit 10;

日志流切主

命令

alter system switch replica leader ls=1 server='$z3_ip:$z3_port' tenant='sys';

查询leader的位置

select * from __all_virtual_log_stat where tenant_id=1;

OBProxy

开启后observer show create table输出会完全兼容mysql的语法，建议设置为租户级别。

alter proxyconfig set init_sql='set _show_ddl_in_compat_mode = 1;';


http://www.mrgr.cn/p/12754706

相关文章

Hive主要介绍

Hive主要介绍

Hive介绍 hive是基于 Hadoop平台操作 HDFS 文件的插件工具 可以将结构化的数据文件映射为一张数据库表 可以将 HQL 语句转换为 MapReduce 程序 1.hive 是由驱动器组成，驱动器主要由4个组件组成（解析器、编译器、优化器、执行器） 2.hive本身不…
阅读更多...
网络协议深度解析：SSL、 TLS、HTTP和 DNS(C/C++代码实现)

网络协议深度解析：SSL、 TLS、HTTP和 DNS(C/C++代码实现)

在数字化时代，网络协议构成了互联网通信的基石。SSL、TLS、HTTP和DNS是其中最关键的几种，它们确保了我们的数据安全传输、网页的正确显示以及域名的正常解析。 要理解这些协议，首先需要了解网络分层模型。SSL和TLS位于传输层之上&#xff0c…
阅读更多...
数据可视化（四）：Pandas技术的高级操作案例，豆瓣电影数据也能轻松分析！

数据可视化（四）：Pandas技术的高级操作案例，豆瓣电影数据也能轻松分析！

Tips："分享是快乐的源泉💧，在我的博客里，不仅有知识的海洋🌊，还有满满的正能量加持💪，快来和我一起分享这份快乐吧😊！ 喜欢我的博客的话，记得…
阅读更多...
如何在阿里云快速配置自动定时重启ECS云服务器?

如何在阿里云快速配置自动定时重启ECS云服务器?

背景 无论是电子商务、在线教育、游戏，还是流媒体等业务，服务器的稳定运行都是至关重要的。然而，在实际运行中，我们可能会遇到这样一些场景： 系统更新：一些操作系统或者软件的更新可能需要重启服务器才能…
阅读更多...
buuctf-pwn-2.rip

buuctf-pwn-2.rip

先用checksec看一下保护情况红色表示没有保护，绿色则表示有相应的保护 关于每种保护会在之后的做题中遇到，也有相应的应对措施，这次就不过多深入 打开ida64分析附件发现高危函数gets，这个函数不会检查输入的长度 我们可以利用它修改函数的返回地址，从而执行后门函数找到后…
阅读更多...
【draw.io的使用心得介绍】

【draw.io的使用心得介绍】

🌈个人主页: 程序员不想敲代码啊 🏆CSDN优质创作者，CSDN实力新星，CSDN博客专家 👍点赞⭐评论⭐收藏 🤝希望本文对您有所裨益，如有不足之处，欢迎在评论区提出指正，让我们共…
阅读更多...
条件生成对抗网络（cGAN）在AI去衣技术中的应用探索

条件生成对抗网络（cGAN）在AI去衣技术中的应用探索

随着深度学习技术的飞速发展，生成对抗网络（GAN）作为其中的一个重要分支，在图像生成、图像修复等领域展现出了强大的能力。其中，条件生成对抗网络（cGAN）通过引入条件变量来控制生成模型的输出&am…
阅读更多...
Redis系列5：深入分析Cluster 集群模式

Redis系列5：深入分析Cluster 集群模式

1 背景 前面我们学习了Redis高可用的两种架构模式：主从模式、哨兵模式。 解决了我们在Redis实例发生故障时，具备主从自动切换、故障转移的能力，终保证服务的高可用。 但是这些其实远远不够，随着我们业务规模的不断扩展&#xff0…
阅读更多...
Anaconda中安装pyecharts

Anaconda中安装pyecharts

学习Python的过程中发现conda无法使用pyecharts https://pypi.org/project/pyecharts/#files 下载后将whl文件复制到到本地conda\scripts目录下 随后打开conda 切换到script目录下，输入命令 pip install pyecharts-2.0.5-py3-none-any.whl 等待安装完成 在pycharm中配置Python…
阅读更多...
【ZYNQ】zynq启动模式及程序固化

【ZYNQ】zynq启动模式及程序固化

一、前言 由于zynq含有arm cpu ,其启动模式由ps主导，与纯逻辑的fpga不相同，此处做一个记录。 二、zynq启动模式 关于zynq的启动模式详细内容可以参考官方文档：ug585-Zynq 7000 SoC Technical Reference Manual，第六章。 2.1 启…
阅读更多...
网络拓扑—FTP服务搭建

网络拓扑—FTP服务搭建

均使用Windows Server 2003进行搭建目录FTP服务搭建网络拓扑配置网络FTPPC安装FTP服务配置FTP服务FTP用户配置—1PC机访问FTP站点IE浏览器访问终端访问FTP用户配置—2PC机访问ftp站点IE浏览器访问终端访问 FTP服务搭建 网络拓扑//交换机忽略不计 FTP服务IP：192.168.1.1 PC机IP…
阅读更多...
【研发管理】产品经理知识体系-产品创新中的市场调研

【研发管理】产品经理知识体系-产品创新中的市场调研

导读：在产品创新过程中，市场调研的重要性不言而喻。它不仅是产品创新的起点，也是确保产品成功推向市场的关键步骤。对于产品经理系统学习和掌握产品创新中的市场调研相关知识体系十分重要。 目录 概述：市场调研重要性 1、相关概…
阅读更多...
10：00面试，10：08就出来了，问的问题有点变态。。。

10：00面试，10：08就出来了，问的问题有点变态。。。

从小厂出来，没想到在另一家公司又寄了。 到这家公司开始上班，加班是每天必不可少的，看在钱给的比较多的份上，就不太计较了。没想到8月一纸通知，所有人不准加班，加班费不仅没有了，薪资还要降40%…
阅读更多...
【Java--数据结构】链表经典OJ题详解（上）

【Java--数据结构】链表经典OJ题详解（上）

欢迎关注个人主页：逸狼 创造不易，可以点点赞吗~ 如有错误，欢迎指出~ 目录 谈谈头插、头删、尾插、头插的时间复杂度 反转一个单链表 链表的中间结点 返回倒数第k个结点 合并两个链表 谈谈头插、头删、尾插、头插的时间复杂度 头插和头删的时…
阅读更多...
顺序栈--代码题

顺序栈--代码题

数据结构 顺序栈代码题设计一个进制转换程序，使用顺序栈设计一个把十进制转化为十六进制的接口，实现当键盘输入一个非负的十进制时，可以在终端输出对应的十六进制数。 /***************************************************************************************** file n…
阅读更多...
完美运营版商城/拼团/团购/秒杀/积分/砍价/实物商品/虚拟商品等全功能商城

完美运营版商城/拼团/团购/秒杀/积分/砍价/实物商品/虚拟商品等全功能商城

源码下载地址：完美运营版商城.zip 后台可以自由拖曳修改前端UI页面 还支持虚拟商品自动发货等功能 挺不错的一套源码 前端UNIAPP 后端PHP 一键部署版本
阅读更多...
aws安装jenkins步骤

aws安装jenkins步骤

一、aws安装jdk11 1.1 aws安装jdk11 1、切换root，更新yum， sudo su yum update exist 2、安装JDK1.8版本 yum -y list java-1.8.0* #（安装jdk11，yum -y list java-11*） yum install java-1.8.0-openjdk-devel.x86_64 #（安装jdk11，yum -y list java-11-openjdk-deve…
阅读更多...
嵌入式4-24

嵌入式4-24

作业： 整理思维导图 定义一个矩形类Rec，包含私有属性length，width，有以下成员函数： void set_length(int l); //设置长度 void set_width(int w); //设置宽度 int get_length(); //获取长度 int get_width(); //获取宽…
阅读更多...
【GIS教程】ArcGIS做日照分析（附练习数据下载）

【GIS教程】ArcGIS做日照分析（附练习数据下载）

我国对住宅日照标准的规定是:冬至日住宅底层日照不少于1小时或大寒日住宅层日照不少于2小时(通常以当地冬至日正午12时的太阳高度角作为依据)。因冬至日太阳高度角最低，照射范围最小，如果冬至日12：00建筑物底层能够接收到阳光，那么…
阅读更多...
Golang | Leetcode Golang题解之第42题接雨水

Golang | Leetcode Golang题解之第42题接雨水

题目&#xff1a; 题解: func trap(height []int) (ans int) {n : len(height)if n 0 {return}leftMax : make([]int, n)leftMax[0] height[0]for i : 1; i < n; i {leftMax[i] max(leftMax[i-1], height[i])}rightMax : make([]int, n)rightMax[n-1] height[n-1]for i…
阅读更多...
推荐文章

Copyright @ 2022~2023