LVS集群（Linux Virtual server）

文章目录

一、集群和分布式
- 集群 Cluster
- 分布式系统
二、Linux Virtual Server简介
三、LVS工作模式和相关命令

一、集群和分布式

集群 Cluster

系统性能扩展方式：

Scale UP：垂直扩展，向上扩展，增强，性能更强的计算机运行同样的服务，即升级单机的硬件设备。随着计算机性能的增长，其价格会成倍增加，且单台计算机的性能是有上限的，不可能无限制地垂直扩展。
Scale Out：水平扩展，向外扩展，增加设备，并行地运行多个服务调度分配问题。

Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统。
Cluster分为三种类型：

LB： Load Balancing，负载均衡，多个主机组成，每个主机只承担一部分访问请求。
HA： High Availiablity，高可用，避免 SPOF（single Point Of failure 单点故障）。
HPC： High-performance computing，高性能。

分布式系统

分布式存储：Ceph，GlusterFS，FastDFS，MogileFS
分布式计算：hadoop，Spark

分布式常见应用：

分布式应用-服务按照功能拆分，使用微服务（单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值服务）
分布式静态资源–静态资源放在不同的存储集群上
分布式数据和存储–使用key-value缓存系统
分布式计算–对特殊业务使用分布式计算，比如Hadoop集群

集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的。
分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

二、Linux Virtual Server简介

LVS介绍

LVS是Linux virtual server的缩写，为linux虚拟服务器，是一个虚拟的服务器集群系统。LVS简单工作原理为用户请求LVS VIP，LVS根据转发方式和算法，将请求转发给后端服务器，后端服务器接收到请求，返回给用户。对于用户来说，看不到Web后端具体的应用。

LVS工作原理

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS。LVS是内核级功能，工作在INPUT链的位置，将发往INPUT的流量进行“处理”。

LVS调度算法

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态分为两种：

静态方法：不管后端真实服务器的状态，根据自身算法进行调度
动态方法：会根据后端服务器的状态来进行调度。

静态：
1.轮询（Round Robin）：将收到的访问请求按照顺序轮流分配给群集中的各节点，均等地对待每台服务器，而不管服务器实际的连接数和系统负载。

2.加权轮询（Weighted Round Robin）：根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务并且分配的请求越多，这样可以保证性能高的节点承担更多请求。

3.IP_Hash根据请求来源的IP地址进行Hash计算，得到后端服务器，这样来自同一个IP的请求总是会落到同一台服务器上处理，以致于可以将请求上下文信息存储在这个服务器上。

4.url_hash 按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。具体没研究过。

动态：
一个参考值来确定服务器是否忙，这个值越小代表服务器闲，就会优先调度给闲的服务器。主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度。
1.最少连接（Least Connections）：根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近，采用这种方式可以更好地均衡负载。

Overhead=activeconns*256+inactiveconns

2.加权最少连接（Weighted Least Connections）：在服务器节点的性能差异较大的情况下，调度器可以根据节点服务器负载自动调整权重，权重较高的节点将承担更大比例的活动连接负载。
默认调度方法，较常用。第一轮不合理，都是一样的优先级。

Overhead=(activeconns*256+inactiveconns)/weight

3.SED：Shortest Expection Delay，初始连接高权重优先，只检查活动连接，而不考虑非活动连接。

Overhead=(activeconns+1)*256/weight

4、NQ：Never Queue，第一轮均匀分配，后续SED。

5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理，实现Web Cache等。检查后端服务器忙不忙

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS，实现Web Cache等。

LVS功能及组织架构

1.应用于高访问量的业务
如果您的应用访问量很高，可以通过配置监听规则将流量分发到不同的云服务器 ECS（Elastic Compute Service 弹性计算服务）实例上。此外，可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS。
2.扩展应用程序
可以根据业务发展的需要，随时添加和移除ECS实例来扩展应用系统的服务能力，适用于各种Web服务器和App服务器。
3.消除单点故障
可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作。
4.同城容灾
为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾。当主可用区出现机房故障或不可用时，负载均衡仍然有能力在非常短的时间内（如：大约30s中断）切换到另外一个备可用区恢复服务能力；当主可用区恢复时，负载均衡同样会自动切换到主可用区提供服务。使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结合自身的应用需要，综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例，那么此种部署模式下的负载均衡服务的效率是最高的。
5.LVS集群类型中的术语

VS（Virtual Server）：代理服务器
RS（Real Server）：真实服务器
CIP：Client IP（客户机IP）客户机的ip
VIP：Virtual serve IP VS外网的IP 代理服务器的外网ip
DIP：Director IP VS内网的IP 代理服务器的内网ip
RIP：Real server IP 真实服务器的 ip地址

在这里插入图片描述

三、LVS工作模式和相关命令

LVS集群的工作模式

lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址（直接路由）
lvs-tun：隧道模式

LVS的NAT模式

在这里插入图片描述
1 . 当客户端发起请求报文是：
源ip：客户端的ip地址（cip）
目的地址： vip（代理服务器的外网地址）

2.当数据包到达我们的代理服务器源ip不变，需要修改目的ip及端口号
源ip：客户端的ip地址（cip）
目的地址： rip （后端真实服务器ip）

3.真实服务器收到报文后构建响应报文
源ip：改成真实服务器自己的ip（vip 是内网地址)
目的地址： cip 外网客户端地址

4.再发给代理服务器,代理服务会修改源ip将内网地址改成外网地址
源ip：代理服务器的外网ip （vip）
目的地址： cip （外网客户端的地址）

配置过程：

安装软件
yum install epel-release.noarch -y
yum install ipvsadm* -y

配置双网卡，也做网关服务器。

打开路由转发功能
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1 
sysctl -p
重载设置。

在这里插入图片描述
安装完软件之后，启动软件，会发现报错没有那个文件，所以需要先生成文件。

ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service 
ipvsadm -C  清空策略
ipvsadm -A -t 12.0.0.1:80 -s rr #指定ip地址 外网入口
ipvsadm -a -t 12.0.0.10:80 -r 192.168.232.20:80 -m
ipvsadm -a -t 12.0.0.10:80 -r 192.168.232.30:80 -m
#先指定虚拟服务器再添加真实服务器地址，-r:真实服务器地址 -m指定nat模式
ipvsadm#启动

在这里插入图片描述

实验成功。
注意： 这边需要修改真实服务器的网关地址，如果不设置，回来的路由找不到路，就无法互通，会出现如下图片。

LVS的IP 隧道模式

在这里插入图片描述

RIP和DIP可以不处于同一物理网络中，RS的网关一般不能指向DIP,且RIP可以和公网通信。也就是说集群节点可以跨互联网实现。DIP, VIP, RIP可以是公网地址。
RealServer的通道接口上需要配置VIP地址，以便接收DIP转发过来的数据包，以及作为响应的报文源IP。
DIP转发给RealServer时需要借助隧道，隧道外层的IP头部的源IP是DIP，目标IP是RIP，而RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的，源IP是VIP，目标IP是CIP
请求报文要经由Director，但响应不经由Director,响应由RealServer自己完成。
不支持端口映射。
RS的OS须支持隧道功能。

LVS的DR模式

直接路由（Direct Routing）：简称 DR 模式，采用半开放式的网络结构，与 TUN 模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。
负载调度器与各节点服务器通过本地网络连接，不需要建立专用的 IP 隧道直接路由，LVS默认模式,应用最广泛,通过请求报文重新封装一个MAC首部
进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变。
在这里插入图片描述
DR模式的特点：

Director和各RS都配置有VIP
确保前端路由器将目标IP为VIP的请求报文发往Director。有两种办法：
- 在前端网关做静态绑定VIP和Director的MAC地址
- 在RS上修改内核参数以限制arp通告及应答级别。

/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce

RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director。

RS和Director要在同一个物理网络。
请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client。
不支持端口映射（端口不能修改）。
无需开启 ip_forward。
RS可使用大多数OS系统。

配置过程：
配置虚拟网卡地址
在这里插入图片描述
调整/proc响应参数

net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p

调整/proc响应参数，对于DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能。

配置负载分配策略

ipvsadm -A -t 192.168.91.188:80 -s rr
ipvsadm -a -t 192.168.91.188:80 -r 192.168.232.20:80 -g
ipvsadm -a -t 192.168.91.188:80 -r 192.168.232.30:80 -g
#添加真实服务器-a  指定VIP地址及TCP端口-t   指定RIP地址及TCP端口 -r 指定DR模式-g
ipvsadm

在这里插入图片描述
配置节点服务器
修改回环网卡

修改/proc响应参数

vim /etc/sysctl.conf 
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
[root@localhost network-scripts]#sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
sysctl -p

实验效果
轮询响应
在这里插入图片描述