Gitlab的流水线任务【实现每小时自动测试 dev分支的更新】

news/2024/5/16 7:51:12

背景

在现代软件开发实践中，持续集成（Continuous Integration, CI）是确保代码质量和快速响应软件缺陷的关键策略。GitLab 提供了强大的 CI/CD 功能，允许开发者自动化测试和部署流程。本文将介绍如何设置 GitLab 流水线计划任务，以实现对 dev 分支每小时的自动测试。

需求： GitLab 流水线计划任务（pipeline-schedules）：实现每小时自动测试 dev 分支的更新

环境

Gitlab企业版本：v16.9.2-ee
在这里插入图片描述
GitLab 流水线是一系列作业（jobs）的集合，这些作业可以并行或顺序执行，以完成构建、测试、部署等任务。流水线可以由代码提交、定时计划或其他事件触发。

计划任务是 GitLab 流水线的一个特性，它允许你按计划执行流水线，而不需要代码提交或其他触发条件。这对于定期运行测试、备份或其他维护任务特别有用。

每小时自动测试 dev 分支的步骤

创建 .gitlab-ci.yml 配置文件

在项目的根目录下，创建或编辑 .gitlab-ci.yml 文件，这是 GitLab 流水线的配置文件。我们将定义两个作业：一个是常规的测试作业，另一个是计划任务作业。

stages:- test- alert- jarbefore_script:- export PATH=/usr/lib/jvm/java-21/bin:${PATH}        # 将java路径添加到PATH路径中。如果是java 11，使用/usr/lib/jvm/java-11/bin。ci_test:stage: testscript:- |if [ "$(git log origin/dev --since='1 hour ago' --pretty=format:'%h')" != "" ]; thenmvn clean testelseecho "No changes in the last hour"fi- exportrules:- if: '$CI_PIPELINE_SOURCE == "schedule" && $CI_COMMIT_BRANCH == "dev"'dingTalk_fail_alert:stage: alertscript:- /bin/bash /opt/k8s/dingtalk/ding_ci_alert.sh failwhen: on_failureallow_failure: truerules:- if: '$CI_PIPELINE_SOURCE == "schedule" && $CI_COMMIT_BRANCH == "dev"'dingTalk_succes_alert:stage: alertscript:- /bin/bash /opt/k8s/dingtalk/ding_ci_alert.sh successwhen: on_successallow_failure: truerules:- if: '$CI_PIPELINE_SOURCE == "schedule" && $CI_COMMIT_BRANCH == "dev"'jar:stage: jartags:- pddcache:paths:- manage-analysis/target/*.jar- manage-listener/target/*.jar- manage-backend/target/*.jarpolicy: pushkey: ${CI_BUILD_REF_NAME}script:- mvn clean install -Dmaven.test.skip=truerules:- if: '$CI_PIPELINE_SOURCE != "schedule" && $CI_COMMIT_BRANCH == "dev"'

配置钉钉告警机器人

配置钉钉告警机器人：关键字认证 “告警”
在这里插入图片描述

配置告警脚本脚本模板

在GitLab CI/CD 管道中，我们设计了一个名为 ding_ci_alert.sh 的Shell脚本，用于对接钉钉机器人发送构建状态的通知。针对不同的构建结果，我们有如下需求：

  1. 当Maven测试任务失败时，我们会向脚本传递一个参数 "fail"，表示构建失败。此时，脚本不仅会调用钉钉机器人发送一条包含失败详情的告警消息，还会将此次失败的构建ID写入一个专门记录失败构建的文件中。
  2. 当后续的Maven测试任务成功时，我们将向脚本传递一个参数 "success"，以标识构建成功。这时，脚本首先会检查记录失败构建的文件中是否存在当前构建ID。如果存在，则调用钉钉机器人发送一条成功恢复的消息，并从记录文件中移除此构建ID；反之，若当前构建ID未在文件中找到，则不发送成功告警信息。

这样，我们通过灵活调用和智能判断，确保了在构建失败时及时通知相关人员，并在问题得到解决后发送成功通知，既避免了不必要的通知干扰，又保证了团队能够及时了解到构建状态的变化。在实际的博客文章中，您可以插入示例代码和详细说明，让读者更直观地理解这一过程。

vim /opt/k8s/dingtalk/ding_ci_alert.sh

#!/bin/bashWEBHOOK_URL="https://oapi.dingtalk.com/robot/send?access_token=xxxxx"
# 检查是否提供了参数
if [ "$#" -ne 1 ]; thenecho "Usage: $0 <success|fail>"exit 1
fi# 定义记录文件路径
RECORD_FILE="/tmp/build_records.txt"# 根据传入的参数执行相应操作
case $1 infail)# 构建失败，发送告警并记录echo "构建失败，发送告警..."# 准备告警消息JSON_DATA=$(printf '{"msgtype": "markdown","markdown": {"title": "告警:构建失败通知","text": "#### **[%s 的 Maven 测试未通过构建失败](%s/pipelines/%s)**\n\n> - **提交信息**: %s\n> - **提交者名称**: %s\n> - **提交时间**: %s\n\n请及时处理，更多详情可点击项目名称。"},"at": {"isAtAll": false}}' "$CI_PROJECT_NAME" "$CI_PROJECT_URL" "$CI_PIPELINE_ID" "$CI_COMMIT_MESSAGE" "$CI_COMMIT_AUTHOR" "$CI_COMMIT_TIMESTAMP")# 发送告警curl "$WEBHOOK_URL" -X POST -H 'Content-Type: application/json;charset=utf-8' -d "$JSON_DATA"# 记录失败的构建echo "$CI_PROJECT_NAME failed" >> "$RECORD_FILE";;success)# 构建成功，检查记录文件if grep -q "$CI_PROJECT_NAME failed" "$RECORD_FILE"; thenecho "构建成功，发送告警..."# 准备成功告警消息SUCCESS_JSON_DATA=$(printf '{"msgtype": "markdown","markdown": {"title": "告警:构建成功通知","text": "#### **[%s 的 Maven 测试已通过构建成功]**\n\n> - **提交信息**: %s\n> - **提交者名称**: %s\n> - **提交时间**: %s\n\n构建成功，可以进行下一步操作。"},"at": {"isAtAll": false}}' "$CI_PROJECT_NAME" "$CI_COMMIT_MESSAGE" "$CI_COMMIT_AUTHOR" "$CI_COMMIT_TIMESTAMP")# 发送成功告警curl "$WEBHOOK_URL" -X POST -H 'Content-Type: application/json;charset=utf-8' -d "$SUCCESS_JSON_DATA"# 清除记录sed -i "/$CI_PROJECT_NAME failed/d" "$RECORD_FILE"elseecho "没有找到构建失败的记录，不发送成功告警。"fi;;*)echo "Invalid argument: $1. Expected 'success' or 'fail'."exit 1;;
esacexit 0

设置流水线计划

步骤1：登录GitLab并进入项目

  1. 登录到您的GitLab账号。
  2. 导航到您想要设置流水线计划的项目。

步骤2：进入CI/CD设置

  1. 在项目主页，点击左侧面板中的“CI/CD”选项卡。
  2. 在CI/CD设置区域，点击“Schedules”（调度）。

步骤3：创建新的流水线计划

  1. 在“Schedules”页面，点击“New schedule”按钮以创建一个新的流水线计划。

步骤4：配置流水线计划详细信息

  1. 描述：为您的流水线计划提供一个易于理解的描述，以便日后识别。
  2. CRON 表达式：输入一个cron表达式来定义计划执行的时间规律。例如，每天凌晨1点执行，可以输入0 1 * * *。请参考cron表达式文档以获取更多信息。
  3. 分支/标签：可以选择流水线将在哪个分支或标签上执行，默认通常是当前项目的默认分支（如master/main）。
  4. 额外变量（可选）：如果需要，您可以为流水线提供额外的环境变量，这将在计划执行时注入到环境中。
  5. 保护（可选）：如有必要，您可以勾选“Protect this pipeline”，这样只有具有适当权限的用户才能执行或修改该流水线计划。

步骤5：保存流水线计划

  1. 配置完所有选项后，滚动到底部并点击“Save changes”。

步骤6：验证流水线计划

  1. 在指定的时间，GitLab将根据您设置的cron表达式自动触发流水线。您可以在项目的历史流水线记录中查看流水线计划的执行情况。

注意事项

  • 确保您的项目中有.gitlab-ci.yml文件，并且文件中定义了适当的CI/CD流水线配置，这样才能在计划时间到来时执行预定的任务。
  • 如果流水线涉及到敏感信息，您可能需要预先配置好变量并通过密钥管理或GitLab的受保护变量功能来安全地传递这些信息。
  • 某些高级设置，如运行特定job，需要在.gitlab-ci.yml文件中通过rules或only/except关键字进行定义。

注意：第二张图片 CI_PIPELINE_SOURCE 是自己定义的变量

额 外 变 量 （ 可 选 ） ： 如 果 需 要 ， 您 可 以 为 流 水 线 提 供 额 外 的 环 境 变 量 ， 这 将 在 计 划 执 行 时 注 入 到 环 境 中 ， 一 般 我 们 会 配 置 一 个 变 量 名 字 叫 $CI PIPELINE_SOURCE ， 它 的 值 为 s c h ed u le 通 过 这 个 方 式 ， 我 们 就 能 够 确 保 .gitlab-ci.yml 文 件 里 面 只 有 定 义 了 以 下 规 则 的 stage 才 会 执 行 这 个 定 时 任 务 ：

  rules:- if: '$CI_PIPELINE_SOURCE == "schedule" && $CI_COMMIT_BRANCH == "dev"'

保 护 （ 可 选 ） ： 如 有 必 要 ， 您 可 以 勾 选 “Protect this pipeline”, 这 样 只 有 具 有 适 当 权 限 的 用 户 才 能 执 行 或 修 改 该 流 水 线 计 划 。
在这里插入图片描述
在这里插入图片描述

验证流水线自动化

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述


http://www.mrgr.cn/p/84531460

相关文章

【iOS ARKit】3D文字

【iOS ARKit】3D文字

首先&#xff0c;3D场景中渲染的任何虚拟元素都必须具有网格&#xff08;顶点及顶点间的拓扑关系&#xff09;&#xff0c;没有网格的元素无法利用GPU 进行渲染&#xff0c;因此&#xff0c;在3D 场景申渲染 3D文字时&#xff0c;文字也必须具有网格。在计算机系统中&#xff0…
阅读更多...
OSCP靶场--pc

OSCP靶场--pc

OSCP靶场–pc 考点&#xff08;CVE-2022-35411[rpc漏洞chisel端口转发]&#xff09; 1.nmap扫描 ┌──(root㉿kali)-[~/Desktop] └─# nmap -Pn -sC -sV 192.168.178.210 --min-rate 2500 Starting Nmap 7.92 ( https://nmap.org ) at 2024-03-28 04:07 EDT Nmap scan rep…
阅读更多...
景联文科技高质量大模型训练数据汇总！

景联文科技高质量大模型训练数据汇总！

3月25日&#xff0c;2024年中国发展高层论坛年会上&#xff0c;国家数据局局长刘烈宏在“释放数据要素价值&#xff0c;助力可持续发展”的演讲中表示&#xff0c;中国10亿参数规模以上的大模型数量已超100个。 当前&#xff0c;国内AI大模型发展仍面临诸多困境。其中&#xff…
阅读更多...
快速创建zookeeper集群

快速创建zookeeper集群

先说明&#xff0c;zookeeper集群的3个节点都放在同一个虚拟机&#xff08;穷&#xff09;&#xff0c;所以搭建是一个伪集群&#xff0c;因为一个服务器挂机&#xff0c;所有节点都会停止。工作实际情况安装到三个服务器&#xff0c;并修改节点配置的ip地址即可&#xff08;红…
阅读更多...
itextPdf生成pdf简单示例

itextPdf生成pdf简单示例

文章环境 jdk1.8&#xff0c;springboot2.6.13 POM依赖 <dependency><groupId>com.itextpdf</groupId><artifactId>itextpdf</artifactId><version>5.5.13</version></dependency><dependency><groupId>com.ite…
阅读更多...
C++多重继承与虚继承

C++多重继承与虚继承

多重继承的原理 多重继承(multiple inheritance)是指从多个直接基类中产生派生类的能力。 多重继承的派生类继承了所有父类的属性。 在面向对象的编程中&#xff0c;多重继承意味着一个类可以从多个父类继承属性和方法。 就像你有一杯混合果汁&#xff0c;它是由多种水果榨取…
阅读更多...
Visio中存在问题的解决方法

Visio中存在问题的解决方法

公式缩放 mathtype公式在visio缩放之后&#xff0c;出现了变形。 解决方法&#xff1a;每次输入公式都通过 插入->对象->mathType Equation 新建一个公式。可以避免 注&#xff1a;网上有的说在word中使用mathtype编写公式&#xff0c;之后复制到visio中。 插入波形 选择…
阅读更多...
python知识点总结(十)

python知识点总结(十)

python知识点总结十 1、装饰器的理解、并实现一个计时器记录执行性能&#xff0c;并且将执行结果写入日志文件中2、队列和栈的区别&#xff0c;并且用python实现3、设计实现遍历目录与子目录4、CPU处理进程最慢的情况通常发生在以下几种情况下&#xff1a;5、CPU处理线程最慢的…
阅读更多...
C# 获取程序路径的几种方法及其区别【WPF】

C# 获取程序路径的几种方法及其区别【WPF】

遇到的问题 但最近发现一个问题：如果程序是由用户通过exe文件直接打开的，获取同目录下配置文件不会有问题；但如果程序是由第三方应用启动的，通过不同方式获取的“当前目录”会有不同。以下是常用的记住获取当前目的的方法： System.Environment.CurrentDirectory System.IO…
阅读更多...
C语言分支循环语句详解

C语言分支循环语句详解

分支和循环语句是什么 在我们写程序的时候&#xff0c;总会遇到想一直循环执行某种语句的时候&#xff0c;这时候我们就要使用一种语句叫循环语句&#xff0c;或者带一些判断条件的语句&#xff0c;在C语言中提供了像这些的循环语句和分支语句 if else 语句 这是一种判断语句…
阅读更多...
P8623 [蓝桥杯 2015 省 B] 移动距离 Python

P8623 [蓝桥杯 2015 省 B] 移动距离 Python

[蓝桥杯 2015 省 B] 移动距离 题目描述 X 星球居民小区的楼房全是一样的&#xff0c;并且按矩阵样式排列。其楼房的编号为 $1,2,3, \cdots $ 。 当排满一行时&#xff0c;从下一行相邻的楼往反方向排号。 比如&#xff1a;当小区排号宽度为 6 6 6 时&#xff0c;开始情形如…
阅读更多...
学习总结！

学习总结！

1.构造器&#xff1a; 构造器通常也叫构造方法、构造函数&#xff0c;构造器在每个项目中几乎无处不在。当你new一个对象时&#xff0c;就会调用构造器。构造器格式如下&#xff1a; [修饰符&#xff0c;比如public] 类名 (参数列表&#xff0c;可以没有参数){ //这里不能有r…
阅读更多...
Unity PS5开发 天坑篇 之 URP管线与HDRP管线部署流程以及出包介绍04

Unity PS5开发 天坑篇 之 URP管线与HDRP管线部署流程以及出包介绍04

目录 一, URP管线、HDRP管线下的Unity项目部署 1. PS5开发论坛关于Unity可支持的版本说明: 2. URP管线下的项目与部署 2.1 Build PS5 URP Project 2.2 运行画面 3. HDRP管线下的项目与部署 3.1 附上可以运行的画面: 4. PS5打包方式介绍 4.1 PC串流调试模式: Build Typ…
阅读更多...
面试题--3.18

面试题--3.18

1. http与https的区别&#xff0c;以及https的认证过程及加密算法 &#xff1f; 区别&#xff1a; https协议需要到CA申请证书&#xff0c;一般免费证书较少&#xff0c;因而需要一定费用。 http是超文本传输协议&#xff0c;信息是明文传输&#xff0c;https则是具有安全性…
阅读更多...
打造核心竞争力：高效Web系统数据中台的设计与实践_光点科技

打造核心竞争力：高效Web系统数据中台的设计与实践_光点科技

在数字化的浪潮中&#xff0c;数据已经成为企业赖以生存和发展的核心资源。一个高效的Web系统数据中台&#xff0c;能够赋予企业在激烈的市场竞争中立于不败之地的能力。本文将深入探讨如何设计和实施一个能够提升企业数据管理水平和支持业务决策的高效数据中台架构。 数据中台…
阅读更多...
接单收入超过主业！程序员必备的兼职接单平台汇总

接单收入超过主业！程序员必备的兼职接单平台汇总

这个月副业接单的款项到账了&#xff0c;由于接了个大单&#xff0c;这个月净收入5w&#xff0c;一下子副业收入超过了主业。不得不说&#xff0c;程序员接单确实是一条赚钱的新路子&#xff0c;都说节流不如开源&#xff0c;这下我是真的体会到了&#xff01; 今天&#xff0c…
阅读更多...
计算机组成原理 — 指令系统

计算机组成原理 — 指令系统

指令系统 指令系统指令的概述指令的格式指令的字长取决于 操作数类型和操作种类操作数的类型数据在存储器中的存放方式操作类型 寻址方式指令寻址数据寻址立即寻址直接寻址隐含寻址间接寻址寄存器寻址寄存器间接寻址基址寻址变址寻址堆栈寻址 RISC 和 CISC 技术RISC 即精简指令…
阅读更多...
Camera subdev注册流程

Camera subdev注册流程

参考资料： 极客笔记https://deepinout.com/camera-sensor-driver/camera-sensor-driver-sensor-subdev-register-flow.htmlCamera驱动模型：用户空间通过CSL协议层，才能访问到Camera subdev，/dev/v4l-subdevx都不是固定的 可以通过cat /sys/class/video4linux/v4l-subdevx/n…
阅读更多...
Java设计模式之单例模式（多种实现方式）

Java设计模式之单例模式（多种实现方式）

虽然写了很多年代码&#xff0c;但是说真的对设计模式不是很熟练&#xff0c;虽然平时也会用到一些&#xff0c;但是都没有深入研究过&#xff0c;所以趁现在有空练下手 这章主要讲单例模式&#xff0c;也是最简单的一种模式&#xff0c;但是因为spring中bean的广泛应用&#…
阅读更多...
基于SpringBoot后端实现连接MySQL数据库并存贮数据

基于SpringBoot后端实现连接MySQL数据库并存贮数据

目录 一、什么是MySQL数据库 二、基于SpringBoot框架连接MySQL数据库 1、首先添加MySQL依赖&#xff1a; 2、配置数据库连接&#xff1a; 3、创建实体类&#xff1a; 4、创建Repository接口&#xff1a; 5、使用Repository&#xff1a; 三、编写业务SQL语句 1、使用Spring Data…
阅读更多...
推荐文章

Copyright @ 2022~2023