LOADING

Follow me

Docker Swarm搭建Gitlab【zoues.com】
一月 9, 2017|DockerPaaS

Docker Swarm搭建Gitlab【zoues.com】

Docker Swarm搭建Gitlab【zoues.com】

在云端搭建自己的代码仓库,本地Push代码,持续集成后自动发布。新版的Gitlab很好地支持这个需求,虽然只是自己使用,但目标还是利用三台云主机搭建一个高可用模式的Gitlab服务。

Docker Swarm搭建Gitlab 本文首先实现用Swarm管理集群,部署单主机模式的Gitlab。云主机是收集学生优惠卷1元买来的,单核,1G内存。一开始运行起gitlab,整个系统卡顿了,显然的资源不足。到官网上查看gitlab安装需求才知道现在的资源状况只能实现最不值得推荐的配置:

1 core supports up to 100 users but the application can be a bit slower due to having all workers and background jobs running on the same core

1GB RAM + 3GB of swap is the absolute minimum but we strongly advise against this amount of memory. See the unicorn worker section below for more advice.

查看主机交换区大小发现默认交换区大小为0,因此需要手动增加交换区大小。

增加交换区

生成4G大小的文件在/home目录下文件为swapflie:

$ sudo dd if=/dev/zero of=/home/swapflie bs=1M count=4096 4096+0 records in 4096+0 records out 4294967296 bytes (4.3 GB) copied, 36.7799 s, 117 MB/s 

把这个文件转换成swap分区

$ sudo /sbin/mkswap /home/swapflie 

使分区生效

$ sudo /sbin/swapon /home/swapfile 

查看分区是否分配成功,(省略了其他指标参数)

$ free -h              total       used       free      Swap:         4.0G         0B       4.0G 

搭建Gitlab

准备Swarm集群

在资源有限的情况下管理容器集群,Swarm是一个比较好的选择,相比于之前生产环境用的Kubernetes,Swarm操作简单,资源开销小,适合内部环境使用。

如果已经安装了最新版本的docker(目前是1.12.5),docker engine 已经集成了swarm。

可以用下面的命令安装最新发布版本的docker,安装完需要将当前用户加入docker用户组,并重新登录生效。

curl -fsSL https://get.docker.com/ | sh 

阅读官方文档,理想情况下用Swarm配合Docker Compose以及Docker Machine可以很方便地构建docker集群。但Docker Machine创建docker环境相当于在云主机上创建另外的虚拟机(如virtual box,默认单核,1G内存),所以只能手动在云主机上安装相同docker环境,而不使用 Docker Machine。

另外 Docker Compose配合Swarm ,文档中有比较详细的使用方法,一开始根据这个文档部署环境,结果遇到很多坑,查错的过程中才知道目前这种模式仍在试验阶段, 需要安装试验版本(docker 1.13)或者启动试验模式 。使用Docker Compose + Swarm模式的方式需要其他方法,一种方式是将docker-compose.yml文件转换成swarm服务的启动方式,有个 临时的实现方法 ,可以试用。

这里没有使用上面的方法,而是全部用命令行方式构建Swarm集群:

初始化集群

Swarm的思想主要是将多台主机抽象成一台manager服务器,通过Swarm来启动docker容器(service),像直接运行容器一样,不同的是容器会被负载均衡到不同主机。而对于容器的管理则可只在manager机器上进行。Swarm的架构如图:

Docker Swarm搭建Gitlab

这里首先实现两台主机的service部署,managers上运行Swarm集群可视化工具,slave主机上运行gitlab.

登录manager主机,初始化Swarm manage

docker swarm init --advertise-addr 192.168.10.11 

命令返回slave节点加入集群的命令,如:

To add a worker to this swarm, run the following command:  docker swarm join /  --token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 /  192.168.10.11:2377 

该信息在集群创建成功后也可以在manage主机通过下面命令获得。

docker swarm join-token worker 

登录到slave主机,加入集群

通过manage返回的token信息,加入集群

 docker swarm join /  --token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 / 192.168.10.11:2377 

注意我这里的两个主机都是云主机,而且两台主机不在同一个局域网网段,因此需要将manage的内网地址192.168.10.11换成对应的公网IP,才能成功注册。如果两台主机在同一局域网,则可直接添加到集群。

给slave主机添加标签,使manage可以通过标签限定具体slave node,后面可以看到:

docker node  update --add-lable type=gitlab-node1 

这里给slave机器添加type=gitlab-node1的标签。

启动Swarm可视化服务

返回到manage主机,通过docker node ls命令查看集群节点状态,一切正常后,启动Swarm可视化服务。官方并没有提供可视化服务,在这里( docker-swarm-visualizer )有一个很好的开源实现,可以直接使用该镜像构建服务。

$ docker service create   --name=swarm_visual   --publish=5001:8080/tcp   --constraint=node.role==manager   --mount=type=bind,src=/var/run/docker.sock,dst=/var/run/docker.sock   manomarks/visualizer 

服务启动通过 –constraint=node.role==manager 限定该服务在manage主机运行。并通过将web端口映射到云主机的5001端口。可以通过(公网IP:5001)的方式访问。

创建gitlab数据vloumes

为了方便容器数据的共享,以及后面数据的迁移,选择创建volumes来在本地持久化gitlab容器数据,而不是映射到本地路径。

登录到slave主机,为gitlab创建volumes,volumes的使用可以从后面看到:

$ docker volume create --name gitlab_config $ docker volume create --name gitlab_logs $ docker volume create --name gitlab_data 

这里创建了三个volumes,分别存储gitlab的配置文件、日志和用户数据。

启动Gitlab服务

在manage主机上可以直接启动gitlab服务,并限定服务在slave主机运行。系统自动会到gitlub上pull相应镜像,并在本地运行。

sudo docker service create /     --name swarm_gitlab/     --publish 5002:443 --publish 5003:80 --publish 5004:22 /     --replicas 1 /     --mount type=volume,source=gitlab_config,destination=/etc/gitlab /     --mount type=volume,source=gitlab_logs,destination=/var/log/gitlab /     --mount type=volume,source=gitlab_data,destination=/var/opt/gitlab /     --constraint 'node.labels.type == gitlab-node1' /     gitlab/gitlab-ce:latest 

命令中指定服务名为swarm_gitlab,以及http服务(443,80)和ssh服务(22)端口,分别映射到宿主机;指定备份服务数为1,映射本地路径到容器相应路径,这里使用volums的方式;限定在标签type= gitlab-node1的主机上启动服务。

测试

登录到manage主机,查看节点查看服务状态:

$ docker service ls ID            NAME          REPLICAS  IMAGE                    COMMAND 79c0rvct38j1  swarm_visual  1/1       manomarks/visualizer dbygi9gx1318  swarm_gitlab  1/1       gitlab/gitlab-ce:latest  $ docker service ps swarm_gitlab ID                         NAME            IMAGE                    NODE               DESIRED STATE  CURRENT STATE        ERROR 3haqups6rzf8ugobqzyescl21  swarm_gitlab.1  gitlab/gitlab-ce:latest  VM**  Running        Running 9 hours ago 

访问manage主机的5001端口,可以看到Swarm集群的状态:

Docker Swarm搭建Gitlab

通过docker node的相关命令同样也可以查看集群节点信息。

访问slave主机的5003端口,看到熟悉的Gitlab登录界面,创建初试用户和密码,创建用户组,和测试Project:

Docker Swarm搭建Gitlab

no comments
Share

发表评论