k8s之Helm - 悦读

一、helm是什么 helm概念简介

Helm 的官方网站 https://helm.sh/

Helm 是官方提供的类似于 YUM 的包管理器，是部署环境的流程封装。

Helm 本质就是让 K8s 的应用管理（Deployment、Service 等）可配置，可以通过类似于传递环境变量的方式能动态生成。通过动态生成 K8s 资源清单文件（deployment.yaml、service.yaml）。然后调用 Kubectl 自动执行 K8s 资源部署。

二、为什么使用Helm

在没使用 helm 之前，向 kubernetes 部署应用，我们要依次部署 deployment、svc 等，步骤较繁琐。况且随着很多项目微服务化，复杂的应用在容器中部署以及管理显得较为复杂，helm 通过打包的方式，支持发布的版本管理和控制，很大程度上简化了 Kubernetes 应用的部署和管理。

三、helm 三个概念

Helm 有三个重要的概念：Chart 、Repository 和 Release

Chart（软件包）

Helm 的软件包，采用 TAR 格式。类似于 APT 的 DEB 包或者 YUM 的 RPM 包，其包含了一组定义 Kubernetes 资源相关的 YAML 文件。

Repository（仓库）

Helm 的软件仓库，Repository 本质上是一个 Web 服务器，该服务器保存了一系列的 Chart 软件包以供用户下载，并且提供了一个该 Repository 的 Chart 包的清单文件以供查询。Helm 可以同时管理多个不同的 Repository。

Release（实例）

使用 helm install 命令在 Kubernetes 集群中部署的 Chart 称为 Release。可以理解为 Helm 使用 Chart 包部署的一个应用实例。一个 chart 通常可以在同一个集群中安装多次。每一次安装都会创建一个新的 release。

以 MySQL chart 为例，如果你想在你的集群中运行两个数据库，你可以安装该 chart 两次。每一个数据库都会拥有它自己的 release 和 release name。可以将 release 想象成应用程序发布的版本号。

总结：Helm 安装 charts 到 Kubernetes 集群中，每次安装都会创建一个新的 release。你可以在 Helm 的 chart repositories 中寻找新的 chart。

四、Helm区别v2和v3

Helm2 是 C/S 架构，主要分为客户端 helm 和服务端 Tiller。在 Helm 2 中，Tiller 是作为一个 Deployment 部署在 kube-system 命名空间中，很多情况下，我们会为 Tiller 准备一个 ServiceAccount ，这个 ServiceAccount 通常拥有集群的所有权限。

用户可以使用本地 Helm 命令，自由地连接到 Tiller 中并通过 Tiller 创建、修改、删除任意命名空间下的任意资源。

在 Helm 3 中，Tiller 被移除了。新的 Helm 客户端会像 kubectl 命令一样，读取本地的 kubeconfig 文件，使用我们在 kubeconfig 中预先定义好的权限来进行一系列操作。

heml3的兼容性更好，一般使用heml3

五、helm 部署安装

1、安装 helm
下载二进制 Helm client 安装包
https://github.com/helm/helm/tags

cd /opt

tar -zxvf helm-v3.6.0-linux-amd64.tar.gz
mv linux-amd64/helm /usr/local/bin/helm
helm version

命令补全
source <(helm completion bash)

或者

echo "source <(helm completion bash)" >> ~/.bashrc

source ~/.bashrc

2、使用 helm 安装 Chart
添加常用的 chart 仓库，
helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
helm repo add incubator https://charts.helm.sh/incubator

更新 charts 列表
helm repo update
helm repo list

查看 stable 仓库可用的 charts 列表
helm search repo stable

删除 incubator 仓库
helm repo remove incubator

查看 chart 信息
helm show chart stable/mysql #查看指定 chart 的基本信息

helm show all stable/mysql #获取指定 chart 的所有信息

安装 chart
helm install my-redis bitnami/redis [-n default] #指定 release 的名字为 my-redis，-n 指定部署到 k8s 的 namespace

helm install bitnami/redis --generate-name #不指定 release 的名字时，需使用 –generate-name 随机生成一个名字

查看所有 release
helm ls
helm list

查看指定的 release 状态
helm status my-redis

删除指定的 release
helm uninstall my-redis

六、helm实战案例

6.1、Helm 自定义模板

Helm Chart 是 Helm 用来部署 Kubernetes 应用的包。

一个 Chart 包含一系列的 Kubernetes 资源定义文件（YAML 格式），以及一个描述 Chart 的 Chart.yaml 文件和一个用于配置的 values.yaml 文件。

自定义 Helm Chart 允许根据具体需求来创建和部署 Kubernetes 应用。

charts 除了可以在 repo 中下载，还可以自己自定义，创建完成后通过 helm 部署到 k8s

安装如上，

查看列表

helm repo list

查看 stable 仓库可用的 charts 列表（比如msql）

helm search repo stable | grep mysql

查看 chart 信息

helm show chart Aliyun/mysql

6.1.1、使用chart

kubectl create namespace yc

helm install my-nnginx Bitnami/nginx -n yc

kubectl get pod,svc -owide -n yc

6.1.2、拉取 chart

创建一个目录用于存放 Helm charts，例如 /opt/helm。
使用 helm pull 命令从 Helm 仓库拉取特定的 chart，例如 stable/mysql。
查看拉取的 chart 文件，确认文件存在

mkdir /opt/helm

cd /opt/helm/

helm pull Stable/mysql

tar xf mysql-1.6.9.tgz

yum install -y tree

tree mysql

mysql
├── Chart.yaml                                 #包含 chart 的元数据
├── README.md                                  #提供关于 chart 的信息和使用说明
├── templates                                  #包含 chart 的模板文件
│   ├── configurationFiles-configmap.yaml      #配置文件的 ConfigMap 模板
│   ├── deployment.yaml                        #Deployment 资源的模板
│   ├── _helpers.tpl                           #辅助模板文件
│   ├── initializationFiles-configmap.yaml     #初始化文件的 ConfigMap 模板
│   ├── NOTES.txt                              #安装后的说明和注意事项
│   ├── pvc.yaml                               #PersistentVolumeClaim 资源的模板
│   ├── secrets.yaml                           #Secret 资源的模板
│   ├── serviceaccount.yaml                    #ServiceAccount 资源的模板
│   ├── servicemonitor.yaml                    #ServiceMonitor 资源的模板
│   ├── service.yaml                           #Service 资源的模板
│   ├── ingress.yaml                           #Ingress 资源的模板
│   └── tests                                  #包含测试相关的模板文件
│       ├── test-configmap.yaml
│       └── test.yaml
└── values.yaml                                #包含 chart 的默认配置值

可以看到，一个 chart 包就是一个文件夹的集合，文件夹名称就是 chart 包的名称。

chart 是包含至少两项内容的helm软件包：
（1）软件包自描述文件 Chart.yaml，这个文件必须有 name 和 version（chart版本）的定义
（2）一个或多个模板，其中包含 Kubernetes 清单文件：

NOTES.txt：chart 的“帮助文本”，在用户运行 helm install 时显示给用户
deployment.yaml：创建 deployment 的资源清单文件
service.yaml：为 deployment 创建 service 的资源清单文件
ingress.yaml: 创建 ingress 对象的资源清单文件
_helpers.tpl：放置模板助手的地方，可以在整个 chart 中重复使用

6.1.3、创建自定义的 chart

helm create nginx

tree nginx
nginx
├── charts
├── Chart.yaml
├── templates
│   ├── deployment.yaml
│   ├── _helpers.tpl
│   ├── hpa.yaml
│   ├── ingress.yaml
│   ├── NOTES.txt
│   ├── serviceaccount.yaml
│   ├── service.yaml
│   └── tests
│    └── test-connection.yaml
└── values.yaml

cat nginx/templates/deployment.yaml
在 templates 目录下 yaml 文件模板中的变量（go template语法）的值默认是在 nginx/values.yaml 中定义的，只需要修改 nginx/values.yaml 的内容，也就完成了 templates 目录下 yaml 文件的配置。
比如在 deployment.yaml 中定义的容器镜像：
image: "{{ .Values.image.repository }}:{{ .Values.image.tag | default .Chart.AppVersion }}"

cat nginx/values.yaml | grep repository

repository: nginx

以上变量值是在 create chart 的时候就自动生成的默认值，你可以根据实际情况进行修改。

修改 chart
vim nginx/Chart.yaml

apiVersion: v2
name: nginx                     #chart名字
description: A Helm chart for Kubernetes
type: application               #chart类型，application或library
version: 0.1.0                  #chart版本
appVersion: 1.16.0              #application部署版本

vim nginx/values.yaml

replicaCount: 1

image:
  repository: nginx
  pullPolicy: IfNotPresent
  tag: "latest"                #设置镜像标签

imagePullSecrets: []
nameOverride: ""
fullnameOverride: ""

serviceAccount:
  create: true
  annotations: {}
  name: ""

podAnnotations: {}

podSecurityContext: {}
  # fsGroup: 2000

securityContext: {}
  # capabilities:
  #   drop:
  #   - ALL
  # readOnlyRootFilesystem: true
  # runAsNonRoot: true
  # runAsUser: 1000

service:
  type: ClusterIP
  port: 80

ingress:
  enabled: true                 #开启 ingress
  className: ""
  annotations: {}
    # kubernetes.io/ingress.class: nginx
    # kubernetes.io/tls-acme: "true"
  hosts:
    - host: www.yc.com         #指定ingress域名
      paths:
        - path: /
          pathType: Prefix      #指定ingress路径类型
  tls: []
  #  - secretName: chart-example-tls
  #    hosts:
  #      - chart-example.local

resources:
  limits:
    cpu: 100m
    memory: 128Mi
  requests:
    cpu: 100m
    memory: 128Mi

autoscaling:
  enabled: false
  minReplicas: 1
  maxReplicas: 100
  targetCPUUtilizationPercentage: 80
  # targetMemoryUtilizationPercentage: 80

nodeSelector: {}
  

tolerations: []

affinity: {}

检查依赖和模版配置是否正确

helm lint nginx

打包 chart，会在当前目录下生成压缩包 nginx-0.1.0.tgz
helm package nginx

部署 chart
helm install nginx ./nginx --dry-run --debug
使用 --dry-run 参数验证 Chart 的配置，并不执行安装

部署 chart，release 版本默认为 1
helm install nginx ./nginx -n default
或者
helm install nginx ./nginx-0.1.0.tgz

可根据不同的配置来 install，默认是 values.yaml
helm install nginx ./nginx -f ./nginx/values.yaml

helm ls

kubectl get pod,svc

6.1.4、部署 ingress

下载 Ingress-Nginx 的配置文件 mandatory.yaml 和 service-nodeport.yaml

wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml

使用 kubectl apply 命令应用这些配置文件，以部署 Ingress 控制器和 NodePort 类型的 Service

kubectl apply -f mandatory.yaml
kubectl apply -f service-nodeport.yaml

kubectl get pod,svc -n ingress-nginx

kubectl get ingress

可以

vim /etc/hosts
.....
192.168.88.20 node02 www.yc.com

curl http://www.yc.com:30665

修改为 NodePort 访问后，升级
vim nginx/values.yaml

service:
  type: NodePort
  port: 80
  nodePort: 30080

ingress:
  enabled: false

vim nginx/templates/service.yaml

apiVersion: v1
kind: Service
metadata:
  name: {{ include "nginx.fullname" . }}
  labels:
    {{- include "nginx.labels" . | nindent 4 }}
spec:
  type: {{ .Values.service.type }}
  ports:
    - port: {{ .Values.service.port }}
      targetPort: http
      protocol: TCP
      name: http
      nodePort: {{ .Values.service.nodePort }}              #指定 nodePort
  selector:
    {{- include "nginx.selectorLabels" . | nindent 4 }}

升级 release，release 版本加 1
helm upgrade nginx nginx

kubectl get svc

curl 192.168.80.20:30409

6.1.5、回滚

根据 release 版本回滚

查看 release 版本历史
helm history nginx

回滚 release 到版本1

helm rollback nginx 1

查看nginx release 已经回滚到版本 1

helm history nginx

通常情况下，在配置好 templates 目录下的 kubernetes 清单文件后，后续维护一般只需要修改 Chart.yaml 和 values.yaml 即可。

在命令行使用 --set 指定参数来部署（install,upgrade）release
注：此参数值会覆盖掉在 values.yaml 中的值，如需了解其它的预定义变量参数，可查看 helm 官方文档。
helm upgrade nginx nginx --set image.tag='1.15'

就是用指令形式

七、扩展 helm 结合harbor私有仓库完成实战

helm 可以使用 harbor 作为本地仓库，将自定义的 chart 推送至 harbor 仓库。

1、安装 harbor
上传 harbor-offline-installer-v1.9.1.tgz 和 docker-compose 文件到 /opt 目录
cd /opt
cp docker-compose /usr/local/bin/
chmod +x /usr/local/bin/docker-compose

tar zxf harbor-offline-installer-v1.9.1.tgz
cd harbor/

vim harbor.yml

hostname: 192.168.88.10
harbor_admin_password: Harbor12345     #admin用户初始密码
data_volume: /data                     #数据存储路径，自动创建
chart:
  absolute_url: enabled                #在chart中启用绝对url
log:
  level: info
  local:
    rotate_count: 50
    rotate_size: 200M
    location: /var/log/harbor          #日志路径

安装带有 Clair service 和 chart 仓库服务的 Harbor
./install.sh --with-clair --with-chartmuseum

2、安装 push 插件
在线安装
helm plugin install https://github.com/chartmuseum/helm-push

离线安装
wget https://github.com/chartmuseum/helm-push/releases/download/v0.8.1/helm-push_0.8.1_linux_amd64.tar.gz

mkdir ~/.local/share/helm/plugins/helm-push -p

tar -zxvf helm-push_0.8.1_linux_amd64.tar.gz -C ~/.local/share/helm/plugins/helm-push

helm repo ls

3、登录 Harbor WEB UI 界面，创建一个新项目
浏览器访问：http://192.168.88.10 ，

默认的管理员用户名和密码是 admin/Harbor12345
点击 “+新建项目” 按钮
填写项目名称为 “chart_repo”，访问级别勾选 “公开”，点击 “确定” 按钮，创建新项目

添加仓库

helm repo add harbor http://192.168.88.10/chartrepo/chart_repo --username=admin --password=Harbor12345
注：这里的 repo 的地址是<Harbor URL>/chartrepo/<项目名称>，Harbor 中每个项目是分开的 repo。如果不提供项目名称，则默认使用 library 这个项目。

推送 chart 到 harbor 中
cd /opt/helm
helm push nginx harbor

查看 chart_repo 项目中的 Helm Charts