10分钟教会你Jenkins数据迁移和备份
无论从事什么行业,大家都希望工作的时候,工作环境安全、稳定,工作时可以高效的完成任务。但是,意外总是无法避免的。对于IT行业来说,停电,服务器宕机,断网,人为的误操作等,都会造成数据的丢失。
这些风险都是我们可以想象到的,但是却无法避免的。虽然无法避免,但也不能任人宰割。我们可以定期的备份数据,如果服务器坏了,还可以迁移数据到新的服务器上。
以前我们介绍过自动化部署、自动化接口测试、自动化UI测试,里面安装了很多插件,创建了很多用户和项目,那么这些东西都是保存在哪里的?要如何去备份和迁移呢?
一、系统迁移
1.查看主目录
第一种,通过网站查看:登录jenkins网站,在系统管理->系统配置页面,可以查看到主目录地址
第二种:linux服务器通过命令查看,可以使用cat /etc/sysconfig/jenkins命令查看主目录
或者使用cat /etc/profile命令查看主目录
第三种:windows服务器,此电脑属性->高级系统设置->环境变量->系统变量,找到JENKINS_HOME,查看主目录
2.打包需要迁移的数据
进入到主目录下,可以看到很多文件,是否需要全部打包呢?其实我们只需要打包4个文件就可以了,如上图所示分别是config.xml文件,jobs文件夹,users文件夹和plugins文件夹。从名称上就可以看出来各自的作用,config.xml是存放配置信息的,jobs是存放创建的工程项目的,users是存放用户账信息的,plugins是存放插件的。
3.将数据迁移到目标机器上
将这4个文件夹打包,拷贝到需要迁移的目标机器上,放到jenkins的主目录下。建议在打包和拷贝的时候,两台机器的jenkins都停止服务,防止打包不完整或拷贝不完整。如果迁移的目标机器没有安装jenkins,那么只要在安装完jenkins后直接覆盖这4个文件夹就行了。如果目标机器已经安装jenkins,且安装了部分插件,创建了用户和项目,那么有些文件就不能直接拷贝进去。例如需要迁移的job文件夹中有一个项目和目标机器中job文件夹里的项目同名,那么你就需要取舍了。
如果两个同名的项目都想保留。我建议从web端修改目标机器的项目名称,如果有其他job引用了这个项目或地址,也要一起改。然后再把备份文件放进目标机器的job中。其余几个文件夹也是同样的操作。操作完成后,启动目标机器jenkins 服务就能读取到迁移过来的数据了。如果目标机器当前有重要的job在构建,不能停止服务。但是迁移过来的数据很重要,也想在最短的时间内恢复迁移项目的运行。也可以按照上述步骤进行操作,在当前jobs构建完成后,需要在web端的系统管理菜单下,点击读取设置即可。
数据备份
数据备份有两种办法,一种是手动的,一种是自动的。
1.手动备份
比较简单就像上述迁移步骤那样,把原始机器上的数据打包。打包后有两种选择,第一种是在原始机器上,其他路径下创建一个文件夹,把数据丢进去。例如原始机器上的数据是存储在/home/jenkins,我们打包后可以放到/home/backups,这样做的好处是如果误删了jenkins,我们可以到backups下找回原始数据;第二种是将打包的文件拷贝到另外一台物理机上,这样做的好处是如果原始机器宕机了,我们可以在另外一台机器上找到备份文件,在最短的时间内恢复工作。
2.自动备份
相对于手动备份,我们也可以编写脚本实现自动备份,例如linux系统中,使用shell脚本,如下命令可以实现备份:
cp -r /home/jenkins/需要备份的文件夹名 /home/backups/目标文件夹名
注意:命令中的两个路径之间是有空格的。
同理windows下可以使用批处理:
xcopy D:\jenkins\需要备份的文件夹名\*.* D:\backups\目标文件夹名\ /s /e
注意:*.*后面有一个空格,目标文件夹名后面有个斜杠不能丢(你若皮,可以丢一下试试看会有怎么样的效果)
那么跨平台备份文件应该怎么办呢?Linux的文件传到windows上,windows的文件传到linux上。这里我们需要借助一个工具pscp,安装好以后就可以直接用了。
Windwos传到linux命令如下:
pscp D:\jenkins root@192.168.0.15:/mnt/backups
其中?D:\jenkins是windows文件夹,root是用户名,@后面是ip,冒号后面是linux的文件夹
从linux传到windows把命令倒过来就行了,如下
pscp root@192.168.0.15:/mnt/backups D:\jenkins
总结
备份这项工作,在项目正常运转的情况下会被人嫌弃,原因有费时间、占用存储空间,等等。既然有种种缺点,备份这个工作还要不要做?我认为具体事情,具体对待。但要把握一个原则:在没有备份的情况下恢复生产所需要的时间远远大于有备份的情况下恢复生产所需要的时间,就需要备份。
小提示:时间久远的备份数据,记得要及时清理释放存储空间哦。
志同道合的人,我们组建了一个小圈子,大家可以一起交流软件测试技术,我们也会不定期的进行知乎直播,分享测试、面试技巧,可以私信知乎后台了解,助你快速进阶Python自动化测试/测试开发,走向高薪之路。
一、前言
SonarQube 最需要的功能之一是能够在质量未达到预期水平时使通知或构建失败。我们知道在 SonarQube 中具有质量阀的内置概念,在上文我们是试图通过在主动等待其执行结束来获取扫描结果功能。但该解决方案并不是最好的,这意味着Jenkins 将等待忙碌,并且必须这个时间可控。
实现此目的的最简单的模式是释放 Jenkins 执行程序,并在执行完成时让 SonarQube 发送通知。然后,将恢复 Jenkins 作业,并采取适当的措施(不仅将作业标记为失败,而且还可以发送通知)。
由于自 SonarQube 6.2 后引入的 webhook 功能,所有这些现在都可以实现。我们可以利用Jenkins Pipeline 功能,该功能允许在不占用执行程序的情况下执行作业逻辑的某些部分。
让我们来看看它是怎么实现的。
二、准备工作
- Jenkins、SonarQube 服务已经搭建完成
- Jenkins 安装 sonar插件SonarQube Scanner for Jenkins
- 版本:Jenkins 2.164.3,SonarQube 7.4
三、配置
具体步骤如下: (1)Jenkins 配置 SonarQube 插件
(2)SonarQube 设置 webhook,不同的代码规模的项目,分析过程的耗时是不一样的。所以当分析完成后,由 SonarQube 主动通知 Jenkins。 设置方法:进入 SonarQube Administration -> 配置 -> 网络调用
四、使用Pipeline构建
1、Pipeline的介绍
JenkinsPipeline+SonarQube+Python集成钉钉自动通知(webhook版)
3:Upload to pgyer with apiV2
https://plugins.jenkins.io/upload-pgyer/
这个插件主要是Android打包后,将apk文件上传到蒲公英中下载。
在该例子中,shell修改了上一个步骤说到的注入环境变量,然后payer插件能读取,如果不用注入环境变量,shell修改变量值是不会生效的。
4:构
在隔离期间,看了下Jenkins,虽然没有用到Pipline等功能,但通过基础的配置,也能将CI/CD做的不错(理解General、源码管理、触发器构建、构建环Jenkins实战中的一些技巧