Bootstrap

rancher + k3s + docker私有仓库搭建K8环境(百分之百成功)

1.环境准备(4台机器)

文档准备了4台虚拟机,系统是ubuntu server: ubuntu-22.04.1-live-server-amd64.iso
然后进行安装4台虚拟机,如图:

 其中一台用于rancher、其余三台跑K8,一台master,两台工作节点,安装完虚拟机之后,记得每台虚拟机关闭防火墙:
sudo ufw disable

2.配置外网

因为K3安装需要下载外网资源,所以需要每台机器都要具备访问外网能力,这里采用docker版本的v2ray,所以4台虚拟机都要安装docker,使用如下命令进行安装docker。

 sudo apt-get update
 wget -qO- https://get.docker.com/ | sh

安装完成之后,切换root用户,

sudo su

每台机器一次拉取v2ray的镜像,命令:

docker run -d --restart=always --privileged --network=host --name v2raya -e V2RAYA_ADDRESS=0.0.0.0:2017 -v /lib/modules:/lib/modules:ro -v /etc/resolv.conf:/etc/resolv.conf -v /etc/v2raya:/etc/v2raya mzz2017/v2raya

docker启动之后,浏览器访问:http://192.168.0.11:2017/,每台依次导入配置进行设置:

 点击选择按钮,记得选择端口分享,不然容器内部不能访问外网,然后再次点击设置按钮:

 按照这样设置保存之后,然后点击就绪按钮:

 如果报错,发现53端口被占用,那么需要在设置里面关闭防止DNS污染。
此时我们进入虚拟机,然后使用命令访问google:

curl www.google.com

 此时外网已经通畅。

3.配置docker 私有仓库

这里我是单独有一台物理机作为docker的私有仓库,也可以直接用rancher所在的虚拟机搭建。
首先开启docker的远程服务端口2376,执行命令:

sudo vim /usr/lib/systemd/system/docker.service

然后将ExecStart所在的一行改成:

ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock

如图:

 然后重启服务:

systemctl daemon-reload
systemctl restart docker

开启远程端口之后,我们的项目就可以直接打包docker镜像上传过来了,但是k8服务还不能拉取,我们需要搭建私有仓库服务,执行如下命令拉取镜像:

docker run --name local-regi -d  -p 5000:5000 --restart=always  -v /opt/data/registry:/var/lib/registry registry:2

其中/opt/data/registry为映射的主机的仓库地址,为了docker容器挂掉之后镜像丢失,由于我们是用的http非证书的方式,所以我们拉取镜像的时候也要用http的方式,浏览器访问:http://192.168.0.91:5000/v2/_catalog
如果出现{"repositories":[]]等表示成功。
现在我们上传一个镜像到仓库中,此刻本地仓库有如下镜像:

 我们将com.moon/test的镜像传到5000的仓库中,执行如下命令:

docker tag com.moon/test:1.0 192.168.0.91:5000/com.moon/test:1.0
docker push 192.168.0.91:5000/com.moon/test:1.0

此时我们在访问:http://192.168.0.91:5000/v2/_catalog,仓库已经有镜像,如图:

 然后我们找一个虚拟机进行拉取刚才我们上传的镜像,测试是否能够征程拉取,由于采用的是http,没有证书,所以我们在拉取镜像之前先配置docker,编辑/etc/docker/daemon.json文件,如果没有则创建文件。内存如下:

{ "insecure-registries":["192.168.0.91:5000"]}

如图:

 然后执行命令使配置生效:

systemctl daemon-reload
systemctl restart docker

然后拉取镜像:

docker pull 192.168.0.91:5000/com.moon/test:1.0

如图:

 此时,我们的私有仓库已经搭建完毕。

4.启动rancher

使用快速部署,文档地址:手动快速部署 | Rancher文档
进入rancher的虚拟机,然后docker执行如下命令:

docker run -d --privileged --restart=unless-stopped \
  -p 8080:80 -p 8443:443 \
  rancher/rancher:latest

这里我改掉了端口。
rancher启动起来之后,然后浏览器访问:https://192.168.0.10:8443,修改密码之后进入rancher的管理页面,如图:

4.2创建集群

创建集群的时候一定要勾上REK2/K3S,如图:

 然后点击custom,然后输入集群名称,选择kubenets version,如图:

 然后点击Registries,准备添加私有仓库地址用于拉取我们开发的服务镜像,如图:

 然后点击Registries,准备添加私有仓库地址用于拉取我们开发的服务镜像,如图:

 最后点击创建按钮。

4.2添加master

添加master的时候,我们需要在角色选择上面全部打上勾,然后跳过TLS校验也打上勾,如图:

 然后我们将命令复制出来,在master的虚拟机节点上运行,如图:

等几分钟之后,我们可以看到镜像已经启动起来,在master节点上面执行: 

 注意的是K3这里用的是crictl
然后看我们的集群,此时master已经添加进来了,如图:

 4.3添加work节点

添加work节点的时候,只需要在角色上面勾上worker,并且勾上跳过TLS校验,如图:

 然后复制命令,在工作节点的虚拟机上面执行,等几分钟之后,三个节点正常加入集群,如图:

 5.发布服务

我们将刚才的镜像:192.168.0.91:5000/com.moon/test:1.0发布到集群中。
首先进入我们的集群中,点击workload->Deployments,如图:

 然后点击创建按钮,输入相关信息,如图:

 然后点击创建,这里我们创建了两个副本,等待几分钟,我们可以看到Pod已经成功启动起来了,如图:

 此刻我们可以删除掉其中一个pod,等集群自动去拉取,如图:

 6.创建服务发现,用于外部访问

点击Service Discovery -> Services,如图:

 在创建之后,我们需要下载刚才发布的服务的selector,点击workload -> Deployments,然后选择刚才创建的进行下载YAML,如图:

 然后点击Service Discovery -> Services,进行创建,如图:

 这里选择Load Balancer,然后输入信息如图:

 然后切换到Selectors选项卡,然后打开刚才下载的yaml文件,找到对应的Selectors,如图:

 把对应的key/value复制到输入框,会自动识别,如图:

 最后点击创建便完成了。

最后访问我们的服务,如图:

 

7.服务升级

当修改代码,推送新的镜像升级的时候,点击编辑Deployments配置,如图:

 然后修改新的docker镜像地址即可,保存之后将会自动拉取镜像,如图:

 

;