kubernetes中StorageClass动态存储资源

StorageClass动态存储资源：简称sc资源；

动态存储类，它自动创建pv；不再需要手动创建pv；

但是，我们的存储卷系统nfs本身不支持这个sc动态存储，所以，我们需要借助一个插件来实现nfs配合sc资源实现动态自动存储

整体流程规划汇总；

1，部署nfs环境（存储nfs，和集群的nfs命令）

2，配置nfs动态存储插件；

3，创建StorageClass动态存储资源；

4，创建pvc适配StorageClass动态存储资源

5，创建业务pod引用pvc

1 准别nfs环境

所有节点安装nfs工具

[root@master ~]# yum -y install nfs-utils
[root@node1 ~]# yum -y install nfs-utils

[root@node2 ~]# yum -y install nfs-utils

master节点编辑nfs配置文件

[root@master ~]# mkdir -p /data/kubernetes

[root@master ~]# cat /etc/exports
/data/kubernetes *(rw,no_root_squash)

# 重新加载配置文件 exportfs -r

[root@master ~]# exportfs -r
# 生效配置文件

[root@master ~]# exportfs
/data/kubernetes
<world>

[root@master ~]# systemctl enable --now nfs

master节点创建挂在目录

[root@master ~]# mkdir -p /data/kubernetes/storageclass

2 部署配置nfs动态存储插件

注意，nfs的这个插件包中，包含了创建部署服务pod清单，pvc清单和nfs插件清单（deployment.yaml）、storageclass清单（class.yaml）；

所以，这个插件包，满足了一切要求了；当然，除了deploymengt.yaml文件外，其他的都不算是插件，都是我们要创建的资源，只是这个插件的构建者，帮助我们把资源清单汇总了；

你也可以自己单独去创建；

2.1 修改集群api-server，为适配插件中镜像

[root@master ~]# vim /etc/kubernetes/manifests/kube-apiserver.yaml

...........
containers:
- command:
- kube-apiserver
- --service-node-port-range=3000-50000

# 就是加下面这句代码
- --feature-gates=RemoveSelfLink=false

.............

2.2 编辑nfs-client-provisioner.yaml 文件

创建一个制备器提供给存储类storageClass使用

[root@master storageclass]# cat nfs-client-provisioner.yaml
kind: Deployment
apiVersion: apps/v1
metadata:
name: nfs-client-provisioner
labels:
app: nfs-client-provisioner
spec:
replicas: 1
strategy:
type: Recreate
selector:
matchLabels:
app: nfs-client-provisioner
template:
metadata:
labels:
app: nfs-client-provisioner
spec:
containers:
- name: nfs-client-provisioner
image: quay.io/external_storage/nfs-client-provisioner:latest
volumeMounts:
- name: nfs-client-root
mountPath: /persistentvolumes
env:
- name: PROVISIONER_NAME
value: dolphin-provisioner
- name: NFS_SERVER
value: 192.168.190.200
- name: NFS_PATH
value: /data/kubernetes/storageclass
volumes:
- name: nfs-client-root
nfs:
server: 192.168.190.200
path: /data/kubernetes/storageclass

[root@master storageclass]# kubectl apply -f nfs-client-provisioner.yaml
deployment.apps/nfs-client-provisioner created

2.3 创建managed-nfs-storage.yaml

[root@master storageclass]# cat managed-nfs-storage.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: managed-nfs-storage
#这个值，对应nfs插件的deploymengt.yaml文件中env下的name是PROVISIONER_NAME的value值
provisioner: dolphin-provisioner
parameters:
#是否删除里面的数据；
#注意：仅对“回收策略是Retain”的值时生效，如果回收策略是delete，则这个参数无效；
#删除数据后，会在存储卷路径创建“archived-*”前缀的目录；
archiveOnDelete: "true"
#在这里设置pv的回收策略（如果不设置，默认是delete）
recalaimPolicy: Retain

[root@master storageclass]# kubectl apply -f managed-nfs-storage.yaml
storageclass.storage.k8s.io/managed-nfs-storage created

查看sc资源

2.4 编辑test-pvc-claim.yaml 测试pvc对象

检测存储类型storageClass是否能正常工作

[root@master storageclass]# cat test-pvc-claim.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: test-pvc-claim
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Mi
storageClassName: managed-nfs-storage

[root@master storageclass]# kubectl apply -f test-pvc-claim.yaml
persistentvolumeclaim/test-pvc-claim created

2.5 查看deploy、pod、sc、pv、pvc的信息

发现pvc处于一直pending状态

查看日志：没有权限访问

[root@master storageclass]# kubectl logs -f nfs-client-provisioner-5f89cfdcd6-djxbr

从日志信息中可以看出，default命名空间中的服务账号（serviceaccount）没有权限访问dolphin-provisioner对象

2.6 编辑nfs-provisioner-runner.yaml 创建nfs-provisioner-runner角色资源

kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata: 
  name: nfs-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "update"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["services"]
    verbs: ["get"]
  - apiGroups: ["extensions"]
    resources: ["podsecuritypolicies"]
    resourceNames: ["nfs-provisioner"]
    verbs: ["use"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-provisioner
subjects:
  - kind: ServiceAccount
    name: default
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-provisioner-runner
  apiGroup: rbac.authorization.k8s.io

[root@master storageclass]# kubectl apply -f nfs-provisioner-runner.yaml
clusterrole.rbac.authorization.k8s.io/nfs-provisioner-runner created
clusterrolebinding.rbac.authorization.k8s.io/run-nfs-provisioner created

2.7 deploy、pod、sc、pv、pvc的信息

资源成功绑定，且自动创建了一个pv pvc-bc7d9e40-2856-4839-9643-284f78998eb8,与之绑定

创建了pvc之后，nfs挂载目录，就通过sc资源自动创建了一个目录，用于pvc使用；

2.8 编辑test-pvc-pod.yaml 文件创建pod来使用PVC资源，进行测试

[root@master storageclass]# cat test-pvc-pod.yaml
kind: Pod
apiVersion: v1
metadata:
name: test-pod
spec:
containers:
- name: test-pod
image: busybox
args:
- /bin/sh
- -c
- sleep 3000
volumeMounts:
- name: nfs-pvc
mountPath: "/mnt"
volumes:
- name: nfs-pvc
persistentVolumeClaim:
claimName: test-pvc-claim

[root@master storageclass]# kubectl apply -f test-pvc-pod.yaml
pod/test-pod created

挂在目录写入文件

[root@master storageclass]# echo dolphin11111 > /data/kubernetes/storageclass/default-test-pvc-claim-pvc-bc7d9e40-2856-4839-9643-284f78998eb8/data.txt

进入上面创建的pod容器内查看是否有文件

操作完成