背景
敏捷(Agile)模式被广泛应用,测试显得尤为重要。由于需要频繁发布新的版本,我们需要更加频繁的执行测试用例,以确保没有新的 bug 被引入到版本中。
一个完整的测试流程所需要占用的时间和资源也不可忽视,包括对测试结果的分析都要占用大量的资源。如何在更短时间内,提供完整、全面的测试以保证质量,是我们急于解决的问题,也是保证敏捷开发能顺利进行的关键。
Jenkins 实现了无人值守的测试流程,开发结束后,一旦在测试环境部署成功,下游的测试任务就会即刻执行。
Jenkins 的应用在一定程度上节省了人力资源,而 Docker 技术可以实现容器 (Container) 快速的拓展,从而节省了大量的设备资源和时间,快速的完成测试。这在 Jenkins Pipeline(代码流水线管理)中是非常重要的一个环节,如图 1 所示:
图 1. Jenkins Pipeline
本文主要介绍如何利用 Docker Swarm 集群功能和 Selenium Grid 脚本分发功能,来搭建一个可以动态扩容的 Selenium 自动化脚本执行环境。相比于用真实的机器作为 Selenium 自动化脚本执行环境,使用此套环境可以极大的减少对执行环境的维护工作,比如各种浏览器类型的管理和版本的管理。也能极大的减少对脚本执行环境的物质投入,节省各类资源。
搭建 Docker Swarm 集群
Swarm 简介
Swarm 是 Docker 官方提供的一款集群管理工具,用来管理 Docker 集群,它将若干台 Docker 主机抽象为一个整体,并且通过一个入口统一管理这些 Docker 主机上的各种 Docker 资源。
Swarm 只是一个调度器(Scheduler)加路由器(Router),Swarm 自己不运行容器,它只是接受 Docker 客户端发送过来的请求,调度适合的节点来运行容器,这意味着,即使 Swarm 由于某些原因挂掉了,集群中的节点也会照常运行,当 Swarm 重新恢复运行之后,它会收集重建集群信息。
Swarm 和 Kubernetes 比较类似,但是更加轻,具有的功能也较 Kubernetes 更少一些。
环境准备
为了搭建 Docker Swarm 集群环境,我在示例中准备了两台机器。一台作为 manager 节点,同时也作为一个 worker 节点,另一台只作为一个 worker 节点。
这里假设我们的两个机器 IP 信息如下:
- M1:10.13.181.1
- M2:10.13.181.2
Docker Engine 从 V1.12.0 版本开始,原生集成了 Docker Swarm,所以只要在每台机器上安装 Docker,就可以直接使用 Docker Swarm。在这里,关于 Docker 的安装不再详细介绍,请按照官方 Docker Swarm 文档 进行安装。安装完成后,在每台机器上将 Docker 服务启动。
提示:
注意:最好关闭机器上的防火墙,否则可能会出现 Swarm 集群网络连接问题。
关闭防火墙的命令:systemctl stop firewalld.service
禁止防火墙开机启动命令:systemctl disable firewalld.service
步骤
1、创建管理节点。
我们将机器 M1 作为 manager 节点,在这台机器上执行命令来初始化集群环境。命令如下:
sudo docker swarm init --advertise-addr 10.13.181.1
执行此命令后,会返回一个用于加入集群的令牌(Token),以便其他 worker 加入此集群。
清单 1. 加入集群令牌示例:
3phtv1qkfdly2kchzxh0h1xft 10.13.181.1:2377
如果想再次获取加入集群的命令,可以通过执行以下命令获取:
sudo docker swarm join-token worker
2、将机器 M1 也作为 worker 节点添加到集群。
在 manager 节点机器上运行清单 1 的命令,即可将机器 M1 也作为 worker 加入 swarm 集群当中。
3、将另一台机器 M2 作为 worker 节点添加到集群。
在机器 M2 上执行上述清单 1 中的命令,即可实现 M2 加入集群的功能。
4、运行如下命令创建集群网络:
sudo docker network create -d overlay seleniumnet
这里,seleniumnet 即是我们所创建的集群网络名称。
5、在新建的集群网络上创建 Selenium Grid 服务。
a. 创建 Selenium Grid Hub 服务。基于集群网络 seleniumnet,将 4444 端口映射到集群的 4444 端口,将 timeout 时间设置为 120 秒,可以增大或减少 timeout 时间,如清单 2 所示。
清单 2. 创建 Selenium Grid Hub 服务:
GRID_TIMEOUT=120 selenium/hub
b. 创建 Selenium Grid Firefox 节点服务并连接到刚创建 Hub 服务。如清单 3 所示。
清单 3. 创建 Selenium Grid Firefox 节点服务:
sudo docker service create \ --name node-firefox \ --replicas 5 \ -p 7900:5900 \ --network seleniumnet \ -e HUB_PORT_4444_TCP_ADDR=selenium-hub \ -e HUB_PORT_4444_TCP_PORT=4444 \ selenium/node-firefox-debug bash -c 'SE_OPTS="-host $HOSTNAME" /opt/bin/entry_point.sh'
参数说明:
-p: 7900:5900 将 Docker 内部 VNC5900 暴露到宿主机的 7900 端口,使得用户可以通过 VNC 从外面监控 Docker 内部的执行情况。
c. 创建 Selenium Grid Chrome Node 服务并连接到刚创建 Hub 服务。如清单 4 所示。
清单 4. 创建节点服务:
sudo docker service create \ --name node-chrome \ --replicas 3 \ -p 7901:5900 \ --network seleniumnet \ -e HUB_PORT_4444_TCP_ADDR=selenium-hub \ -e HUB_PORT_4444_TCP_PORT=4444 \ selenium/node-chrome-debug bash -c 'SE_OPTS="-host $HOSTNAME" /opt/bin/entry_point.sh'
参数说明:
-p: 7901:5900 将 Docker 内部 VNC5900 暴露到宿主机的 7901 端口,使得用户可以通过 VNC 从外面监控 Docker 内部的执行情况。
6、检查环境搭建是否成功。在机器 M1 上执行以下命令,查看每个服务是否启动成功:
sudo docker service ls
可以看到 Selenium Hub 和 Firefox 节点、Chrome 节点都已经成功启动。Firefox 的节点副本是 5,Chrome 的节点副本是 3,如图 2 所示。
图 2. Docker 服务清单
我们再通过任意一台机器的 IP 加 4444 端口来打开 Selenium Hub URL 来查看已启动的 Firefox 和 Chrome 节点是否已经成功挂载到 Hub 节点上,如图 3 所示。
Hub url: 10.13.181.1:4444
图 3. Selenium Hub 的界面图
从图 3 可以看出,5 个 Firefox 节点和 3 个 Chrome 节点都已经成功挂载到 Hub 节点上。说明此时 Docker Swarm 环境里已经提供了 5 个 Firefox 节点和 3 个 Chrome 节点可以用来执行 Selenium 自动化测试脚本。
扩容方法
用户可以根据脚本执行数量,随时动态的扩容各个节点的数量,提高自动化脚本的执行效率,例如我们需要 10 个可以运行 Firefox 浏览器的 Container,对应的命令如下:
sudo docker service scale node-firefox=10
在 Docker Swarm 运行 Jenkins Job
用户在 Docker Swarm 中运行 Jenkins Job,并不需要在 Jenkins 做多余的配置,而是需要在对应的自动化脚本中调用 Selenium Hub,从而以远程的方式调用 WebDriver。这样就实现了在 Docker Container 中运行 Selenium 脚本。
以本文中的场景为例,只需要在自动化脚本中调用远程 Selenium Hub 即可,如下所示:http://9.111.139.104:4444/wd/hub
在 Selenium Grid 中运行自动化脚本
基本概念
Selenium Grid,用于分布式自动化测试,也就是说一套 Selenium 代码可在不同的环境上运行,这样做可以方便的将应用运行在 Docker 所提供的不同 Container 中。
Selenium Grid 有两个概念:
- Hub:主节点,你可以看作总调度中心。
- Node:分支节点,你可以看作是真正执行任务的 worker。
也就是说在 Selenium Grid 中只能有一个主 Hub,但可以在本地或远程建立 N 多个分支节点,测试脚本指向主 Hub,由主 Hub 分配给本地/远程节点运行测试用例。
实现方式
要实现在 Selenium Grid 中运行自动化脚本,首先我们要创建一个 remote driver 的对象,可以通过图 4 源码实现,截图中所对应的输入参数 selhub 是 Selenium hub 的 URL:http://9.111.139.104:4444/wd/hub
图 4. 自动化脚本的代码截图
通过调用上述的 driver,就可以实现将自动化脚本运行在 Docker Container 中。
结束语
在持续集成测试中,将测试部署到 Docker Swarm 中,通过 Selenium Grid 自动分配执行测试的节点,可以提升测试效率,增大测试的范围,在快速迭代中能够更好的保证所交付的产品质量,节省测试资源。
原文链接: https://www.ibm.com/developerw ... .html