使用jenkins SonarQube gitlab 构建自动化发布系统
目前持续集成的生态越来越完善，工具也有很多，开源的或商业的。如：[*]最最流行的，也是使用最多的 Jenkins
[*]有着持续集成DNA的ThoughtWorks GO。理念："Deployment as pipeline" (华为容器平台应该是基于GO做的二次开发实现)
[*]Atlassian工具链之一的Bamboo (数人云应该是基于Banboo实现的CI/CD)
[*]与Gitlab紧密集成的Gitlab CI
[*]专为开源打造的Travis CI，与Github紧密集成
[*]使用 python 语言实现的Buildbot，相信 pythoner 看到会喜欢
jenkins安装
设置jenkins目录
在catalina.sh 中定义jenkins
$ export CATALINA_OPTS="-DJENKINS_HOME=/path/to/jenkins_home/ -Xmx512m"
$ catalina.sh start
在linux环境变量中定义jenkins
$ export JENKINS_HOME=/path/to/jenkins_home/
$ catalina.sh start
在 context中定义jenkins-home
<Context ...> <Environment name="JENKINS_HOME" value="/path/to/jenkins_home/" type="java.lang.String"/>
</Context>
安装及初始化
wget http://mirrors.jenkins.io/war-stable/latest/jenkins.war
java -jar jenkins.war
http://localhost:8080
安装常用插件
开始安装
插件安装完成后，开始配置admin的用户名密码。
开始使用jenkins
更改jenkins的家目录
jenkins的家目录默认路径在/root/.jenkins/路径。根据启动方式的不同，修改方式略有不同。
[*]你是直接命令行启动java -jar jenkins.war。
cat >>/etc/profile<<EOF
export JENKINS_HOME=/data/db/jenkins/
EOF
source/etc/profile
[*]使用tomcat容器启动
vim /data/app/tomcat/bin/catalina.sh
export JENKINS_HOME=/data/db/jenkins/
# OS specific support.$var _must_ be set to either true or false.
[*]你也可以修改jenkins.war包（不推荐）
vim jenkins /web.xml <!-- if specified, this value is used as the Hudson home directory -->
<env-entry>
<env-entry-name>HUDSON_HOME</env-entry-name>
<env-entry-type>java.lang.String</env-entry-type>
<env-entry-value>/data/db/jenkins/</env-entry-value> #填入路径
</env-entry>
开始安装插件
jenkins最常用的就是插件，所有我们从安装插件开始。路径：系统管理-->管理插件，开始安装插件。
[*]Build Pipeline Plugin：build 流程配置插件。
[*]Gitlab Plugin ：gitlab pull 插件。
[*]Gitlab Hook Plugin：gitlab 钩子插件。
[*]Build Authorization Token Root Plugin ：用户权限验证插件。
[*]SonarQube Scanner for Jenkins ：代码质量管理插件。
[*]Parameterized Remote Trigger Plugin ：远程触发插件。
[*]AnsiColor（可选）：这个插件可以让Jenkins的控制台输出的log带有颜色（就和linux控制台那样）
[*]Maven Integration plugin
[*]Extended Choice Parameter Plug-In: 图像界面配置多选参数
方法二
上传插件
Jenkins-插件管理-高级-上传插件
方法三
直接上传到文件目录（根据上文中密码文件的路径，可以知道jenkins的目录在/root/.jenkins/中）
/root/.jenkins/plugins
重启Jenkins
创建一个构建过程
输入项目名称--选择构建一个自由风格的软件项目
配置源码下载地址
添加gitlab的认证key，这里配置ssh的私钥。
gitlab中添加ssh-key的公钥
配置构建过程
这里有个需要注意的地方，比如我们想要在远端的机器上执行相关的脚本怎么办？
一个原理: jenkins 在执行过程中，使用的是jenkins的用户在执行。
两种方法：
[*]所有服务器跟jenkins做无密钥登录。
[*]所有服务器的root做无密钥登录。
推荐使用第二种，因为发布的脚本，可能涉及权限的问题，如果使用jenkins可能会出现权限不足的情况。
最佳方案
sudo ssh -p 52113 root@192.168.56.13 "/data/scripts/web-deploy.sh" 执行立即构建-查看控制台输出
解释说明：
[*]jenkins 会git clone到jenkins的/workspace上。
#pwd
/root/.jenkins/workspace/web-build
#ls -a
....gitindex.htmlREADME.md
#
#cat /tmp/1.txt
2017-03-01
Sonar 代码质量管理
安装sonar
cd /usr/local/src/
wget https://sonarsource.bintray.com/Distribution/sonarqube/sonarqube-5.6.6.zip
mv sonarqube-5.6.6 /data/app/
ln -s /data/app/sonarqube-5.6.6/ /data/app/sonarqube
安装数据库
# 下载mysql二进制包
cd /usr/local/src
wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.30-linux-glibc2.5-x86_64.tar.gz
# 创建mysql用户
groupadd mysql
useradd -r -g mysql -s /bin/false mysql
# 解压mysql二进制包
cd /usr/local/src
tar zxf mysql-5.6.30-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.30-linux-glibc2.5-x86_64 /usr/local/
chown -R mysql:mysql /usr/local/mysql-5.6.30-linux-glibc2.5-x86_64
# 初始化mysql
ln -s /usr/local/mysql-5.6.30-linux-glibc2.5-x86_64/ /usr/local/mysql
chown -R mysql:mysql /usr/local/mysql
# 上传压缩包中的my.cnf到/usr/local/mysql目录下
#初始化 mysql数据库
/usr/local/mysql/scripts/mysql_install_db \
--defaults-file=/usr/local/mysql/my.cnf \
--user=mysql --basedir=/usr/local/mysql/ \
--datadir=/usr/local/mysql/data
# 启动mysql
chown -R mysql:mysql /usr/local/mysql
chown -R mysql:mysql /usr/local/mysql-5.6.30-linux-glibc2.5-x86_64/
/usr/local/mysql/bin/mysqld --defaults-file=/usr/local/mysql/my.cnf &
# 连接mysql
/usr/local/mysql/bin/mysql -S /usr/local/mysql/mysql.sock
登录mysql创建相关的数据库
# mysql -uroot -p12345678
CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL ON sonar.* TO 'sonar'@'%'>
FLUSH PRIVILEGES;
sonar好像不支持MySQL 5.5，请安装mysql5.6 或者更高版本
2017.03.01 18:52:01 ERROR web] Exception sending context initialized event to listener instance of>
ver.platform.PlatformServletContextListener
org.sonar.api.utils.MessageException: Unsupported mysql version: 5.5. Minimal supported version is 5.6.
2017.03.01 18:52:01 ERROR web One or more listeners failed to start. Full details will be found in the appropri
ate container log file
2017.03.01 18:52:01 ERROR web Context [] startup failed due to previous errors
2017.03.01 18:52:01 WARNweb The web application appears to have started a thread named [Abandone
d connection cleanup thread] but has failed to stop it. This is very likely to create a memory leak. Stack trace of thread:
java.lang.Object.wait(Native Method)
java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:143)
com.mysql.jdbc.AbandonedConnectionCleanupThread.run(AbandonedConnectionCleanupThread.java:43)
2017.03.01 18:52:01 WARNweb The web application appears to have started a thread named
but has failed to stop it. This is very likely to create a memory leak. Stack trace of thread:
java.lang.Object.wait(Native Method)
java.util.TimerThread.mainLoop(Timer.java:552)
java.util.TimerThread.run(Timer.java:505)
编辑sonar的配置文件
编辑sonar连接数据库的方式
vim /data/app/sonarqube/conf/sonar.properties
sonar.jdbc.username=sonar
sonar.jdbc.password=sonar@qw
sonar.jdbc.url=jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerf
ormance
配置sonar的监听ip和端口
vim /data/app/sonarqube/conf/sonar.properties
sonar.web.host=0.0.0.0
sonar.web.port=9000
启动sonar服务
/data/app/sonarqube/bin/linux-x86-64/sonar.sh start
配置sonar
浏览器登录sonar，用户名admin，密码：admin
第一步安装中文插件
第二步安装相关的语言插件（使用什么语言，安装什么选择器）
我们安装一个python的插件
接着把php，java的插件也安装上，然后重启。
SonarQube Scanner 安装
wget https://sonarsource.bintray.com/Distribution/sonar-scanner-cli/sonar-scanner-2.8.zip
unzip sonar-scanner-2.8.zip
mv sonar-scanner-2.8 /data/app/
ln -s /data/app/sonar-scanner-2.8/ /data/app/sonar-scanner
编辑sonar scanner的配置文件
cat >>/data/app/sonar-scanner/conf/sonar-scanner.properties <<EOF
sonar.host.url=http://localhost:9000
sonar.sourceEncoding=UTF-8
sonar.jdbc.username=sonar
sonar.jdbc.password=sonar@qw
sonar.jdbc.url=jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8
EOF
soncar-scanner 在2.8版本的时候，可以不用配置，soncar.jdbc.username,sonar.jdbc.password,sonar.jdbc.url。只需要配置soncar.host.url。
WARN: Property 'sonar.jdbc.url' is not supported any more. It will be ignored. There is no longer any DB connection to the SQ database.
WARN: Property 'sonar.jdbc.username' is not supported any more. It will be ignored. There is no longer any DB connection to the SQ database.
WARN: Property 'sonar.jdbc.password' is not supported any more. It will be ignored. There is no longer any DB connection to the SQ database.
下载官方测试包 Sonar-examples
cd /data/db/
git clone https://github.com/SonarSource/sonar-examples.git
需要scanner扫描的代码必须包含 sorna-project.properties
cd /data/db/sonar-examples-master/projects/languages/php/php-sonar-runner-unit-tests
vim sorna-project.properties
sonar.projectKey=org.sonarqube:php-ut-sq-scanner # sonar中的key，必须唯一。
sonar.projectName=PHP :: PHPUnit :: SonarQube Scanner ##在sonar中展示的名称
sonar.projectVersion=1.0##项目版本
sonar.sources=src ##源码路径
sonar.tests=tests
sonar.language=php ##源码语言
sonar.sourceEncoding=UTF-8##源码编译方式
# Reusing PHPUnit reports
sonar.php.coverage.reportPath=reports/phpunit.coverage.xml
sonar.php.tests.reportPath=reports/phpunit.xml
sonar.projectKey=org.sonarqube:example-it-jacoco-sonar-scanner
sonar.projectName=Java :: IT Coverage with JaCoCo :: SonarQube Scanner
sonar.projectVersion=1.0
sonar.sources=src
sonar.binaries=classes
sonar.language=java
sonar.sourceEncoding=UTF-8
sonar.jacoco.itReportPath=reports/jacoco.exec
开始扫描
我们什么都不指定就会在当面目录下扫描sonar-project.properties文件，根据配置文件进行扫描工作。扫描之后我们在web界面上就可以看到
pwd
# /data/db/sonar-examples-master/projects/languages/php/php-sonar-runner-unit-tests
/data/app/sonar-scanner/bin/sonar-scanner
登录sonar-在仪表盘中看到了我们刚刚运行的检查。
点开可以看到详细的信息
sonar和jenkins结合
安装Jenkins - sonar 插件
系统管理-系统配置中 添加sonar的信息
在系统管理--> Global Tool Configuration 中配置sonar Scanner的路径
开始构建相应的步骤
选择立即构建，构建完成后，就可以在控制台输出中看见内容了。
钩子脚本配置
jenkins和gitlab联合
配置身份验证令牌
openssl rand -hex 10
9c8fe5c5bbb56b909259
配置gitlab的钩子
官方的例子
Trigger the RevolutionTest job with the token TacoTuesday
buildByToken/build?job=RevolutionTest&token=TacoTuesday
Trigger the RevolutionTest job with the token TacoTuesday and parameter Type supplied with the value Mexican
buildByToken/buildWithParameters?job=RevolutionTest&token=TacoTuesday&Type=Mexican
根据官方的例子拼接URL
第一步：jenkins的URL：http://192.168.56.11:8080/jenkins/
第二步：拼接后端的URI：buildByToken/build?job=web-buildo&token=9c8fe5c5bbb56b909259
http://192.168.56.11:8080/jenkins/buildByToken/build?job=web-build&token=9c8fe5c5bbb56b909259
更新gitlab的内容，查看jenkins是否能够自动更新。
参考gitlab官方配置例子
配置gitlab流水线操作
安装pipline的插件
jenkins pipline 设置
真实工作场景可能会有很多的job要执行。
编译-->单元测试-->从集群中下线服务器--环境部署--重启服务器--预热--上线测试--上线集群。
创建一个pipline。
根据刚才设置的第一个pipline，配置后续的构建过程。
选择【构建后操作】，接着选择【Trigger parameterized build on other projects】
查看pipline执行的结果。
在这里可以查看各个job的执行情况，绿色是表示执行通过的，黄色是正在执行的，蓝色是未执行的，还有红色是执行失败的。
交互式执行构建过程
jenkins配置slave
最近了解到Jenkins的节点功能，对于分布式构建非常方便！
Jenkins启动在Windows上，如果想要直接操作Linux上的东西，那么比较波折，Jenkins节点大大的方便了不同系统之间的调用构建；
创建节点方式如下：
1.系统管理-管理节点-新建节点
2.输入创建的节点名称，并勾选“Dumb Slave”
3.配置 1）Name需要填写
2）远程工作目录：slave.jar和job等目录
3）用法：只允许运行绑定到这台机器的Job
4）启动方法：Launch slave agents on Unix machines via SSH
5）高级：填写Host Credentials（用户名密码，需要通过Add添加）
4.其他默认即可，配置完毕保存后，进入此节点，通过点击Launch slave agent运行
此时Windows为master，Linux为slave，节点运行后，会在远程工作目录设定的路径下生成slave.jar，用于jenkins调用；
需要注意的是：job建立需要勾选Restrict where this project can be run选项，并在Label Expression处填写节点的名称。
报错汇总
http://10.10.0.176:8080/threadDump
参考
参考文档
jenkins 官方demo
jenkins参考全系列
jenkins用户权限配置
Jenkins进阶系列之——16一个完整的JENKINS下的ANT BUILD.XML文件
使用 Jenkins 设置一个持续交付框架
利用Jenkins+Gitlab搭建持续集成(CI)环境
SonarQube Scanner-download
参考文章
build authorization token root plugin
jenkins-牛人博客
jenkins 常用插件说明
jenkins自带的环境变量
BRANCH_NAME
For a multibranch project, this will be set to the name of the branch being built, for example in case you wish to deploy to production from master but not from feature branches; if corresponding to some kind of change request, the name is generally arbitrary (refer to CHANGE_ID and CHANGE_TARGET).
CHANGE_ID
For a multibranch project corresponding to some kind of change request, this will be set to the change>
CHANGE_URL
For a multibranch project corresponding to some kind of change request, this will be set to the change URL, if supported; else unset.
CHANGE_TITLE
For a multibranch project corresponding to some kind of change request, this will be set to the>
CHANGE_AUTHOR
For a multibranch project corresponding to some kind of change request, this will be set to the username of the author of the proposed change, if supported; else unset.
CHANGE_AUTHOR_DISPLAY_NAME
For a multibranch project corresponding to some kind of change request, this will be set to the human name of the author, if supported; else unset.
CHANGE_AUTHOR_EMAIL
For a multibranch project corresponding to some kind of change request, this will be set to the email address of the author, if supported; else unset.
CHANGE_TARGET
For a multibranch project corresponding to some kind of change request, this will be set to the target or base branch to which the change could be merged, if supported; else unset.
BUILD_NUMBER
The current build number, such as "153"
BUILD_ID
The current build>
BUILD_DISPLAY_NAME
The display name of the current build, which is something like "#153" by default.
JOB_NAME
Name of the project of this build, such as "foo" or "foo/bar".
JOB_BASE_NAME
Short Name of the project of this build stripping off folder paths, such as "foo" for "bar/foo".
BUILD_TAG
String of "jenkins-${JOB_NAME}-${BUILD_NUMBER}". All forward slashes (/) in the JOB_NAME are replaced with dashes (-). Convenient to put into a resource file, a jar file, etc for easier>
EXECUTOR_NUMBER
The unique number that>
NODE_NAME
Name of the agent if the build is on an agent, or "master" if run on master
NODE_LABELS
Whitespace-separated list of labels that the node is assigned.
WORKSPACE
The absolute path of the directory assigned to the build as a workspace.
JENKINS_HOME
The absolute path of the directory assigned on the master node for Jenkins to store data.
JENKINS_URL
Full URL of Jenkins, like http://server:port/jenkins/ (note: only available if Jenkins URL set in system configuration)
BUILD_URL
Full URL of this build, like http://server:port/jenkins/job/foo/15/ (Jenkins URL must be set)
JOB_URL
Full URL of this job, like http://server:port/jenkins/job/foo/ (Jenkins URL must be set)
SVN_REVISION
Subversion revision number that's currently checked out to the workspace, such as "12345"
SVN_URL
Subversion URL that's currently checked out to the workspace.
页:
[1]