Bootstrap

容量规划与评估实践

容量规划的本质就是在「没有足够硬件资源」和「花钱买了太多硬件资源」之间的一种权衡;在同时,容量规划也是一门玄学,因为没人能清楚未来会发生什么,所以通常来说是数据和直觉相结合的过程。

容量规划背景

在没有进行容量规划之前,尝试问自己如下三个问题。

问题1 谁需要进行容量规划?

致力于成长为国内一线互联网公司,并经常需要为流量激增而大规模扩容的公司。

问题2 什么时间进行容量规划

容量规划就是资源管理,当资源有限且具有一定成本时就需要进行容量规划。

问题3 为什么要进行容量规划?

现在互联网,不仅是软件之间的互动,更多的是人和软件之间的互动。主动权不掌握在软件运营者的手中,某个话题的出现都会导致用户激增,进而导致网站崩溃,为了防止网站崩溃,就要精准预测流量,为不可预知的流量做准备。

容量规划目标

在没有目标之前,不要进行容量规划,也没有办法进行容量规划。

一般目标如下:

  • 服务SLA,通常包括可用性和性能指标两个维度,要给出具体数字,99.9%可用还是99.99%可用,比如有些系统提供商承诺99%可用性,给人一种可用性很高的错觉,其实算下一年就要有5k多分钟处于不可用状态。

801ad62c11adf4153767d056bd908e5c.jpeg另外就是时延,对于延迟敏感高的系统,不要用平均数,要用中位数,比如:P99.99 保证 50ms 以内延迟。因为多数服务都存在长尾问题。

  • 软件架构,服务是否低耦合,是否可以横向扩展。多数公司做架构都停留于编程语言和通信协议层面,但这仅仅是最表面的一层。要想提升稳定性,更多的是隔离、限流、熔断、超时、负载均衡、链路追踪、监控,每一个拿出来都可以当一个专门的课题去研究。

  • 基础设施架构,是否支持自动扩缩容,具体包括水平扩容,垂直缩放。

  • 灾难恢复,多数据中心建设,这个之前有过介绍

容量规划方法和过程

  1. 收集最近半年或者一个季度 QPS 增长趋势,根据增长趋势预估接下来的增长倍数;

  2. 根据预估流量算出所需硬件数量;

  3. 计算处理能力,并添加限流;

  4. 不断收集指标、持续优化系统处理能力,并校正容量规划指标。

下面我会针对这四个步骤进行详细解释

1、指标收集

每个(重要的)系统都应该量化它的处理能力并且可视化当前状态(QPS、延迟、错误率),如果不能,那就让它变得可量化、可视化。

服务运行指标不可或缺,不仅仅容量规划,也是日常监控告警指标的一部分。

指标收集有诸多陷阱,就以常用的 Prometheus 为例,当计算QPS时,应该用irate把瞬时峰值计算出来,而不应该使用rate;即便使用irate,可能还会存在误差,一般 Prometheus 的采集指标是 15s,只对规定采样周期内的最后两个样本进行计算,而忽略前面所有样本。

89cfea2f4d46d9fe65464e046b959043.jpeg

Grafana只是一个指标观测工具,不能完全靠它去做容量评估,我们知道当你查询最近半小时的 QPS 时,分钟展示;但是你进行容量评估可能会查看连续多天的数据指标,这样的话单位就变成了天,如果里面有一个短暂的峰值,grafana并不会展示,那么峰值可能被忽略掉。

d9425d2b53a13c9d057bb5b663f8a7d3.png

基于肉眼查看界面会存在误判,所以不要依赖界面化操作,而是实现自动化指标查询。Prometheus 本身就是个时序数据库,可以通过HTTP调用的方式以采集周期为单位把某段时间内最大数据指标收集出来。例如使用以下表达式查询请求表达式在30秒范围内以15秒为间隔计算PromQL表达式的结果。

$ curl 'http://localhost:9090/api/v1/query_range?query=http_requests_total{environment=~"staging|testing|development",method!="GET"}
&start=2015-07-01T20:10:30.781Z&end=2015-07-01T20:11:00.781Z&step=15s'
{
   "status" : "success",
   "data" : {
      "resultType" : "matrix",
      "result" : [
         {
            "metric" : {
               "__name__" : "up",
               "job" : "prometheus",
               "instance" : "localhost:9090"
            },
            "values" : [
               [ 1435781430.781, "1" ],
               [ 1435781445.781, "1" ],
               [ 1435781460.781, "1" ]
            ]
         },
         {
            "metric" : {
               "__name__" : "up",
               "job" : "node",
               "instance" : "localhost:9091"
            },
            "values" : [
               [ 1435781430.781, "0" ],
               [ 1435781445.781, "0" ],
               [ 1435781460.781, "1" ]
            ]
         }
      ]
   }
}

建议每2个小时存储一个最大值,然后把以天、月为单位画出走势图,根据走势图预测下个周期预测值。

2、计算所需资源

既然资源评估,那就需要计算自己需要的资源,CPU、内存、磁盘;其中内存和磁盘使用都会存在一个固定趋势,根据现有指标相对更容易的计算出来。

这里通常有两个原则:

  • 一是可以回收资源,比如CPU和内存,随着进程的消失而回收,这类资源通常需要预测一段时间的峰值使用

  • 持续增长的资源,比如硬盘,就需要查看存储的增长曲线,根据增长曲线预测未来多久需要进行硬件的采购和安装上架

量化你的QPS和延迟的关系,量化你的QPS和硬件(CPU、内存、磁盘、IO)的关系, 量化你的每个请求需要消耗的资源。

下面我以计算 CPU 为例,说明下如何进行计算资源的评估。

首先我们需要计算出每个请求消耗的 CPU 资源,计算公式如下:

每个请求 CPU% = 总的 CPU% 消耗/请求总数

承载 QPS 最大值 = 100% * CPU 数量/ 每个请求消耗CPU%

首先根据监控查看 QPS 对应的 CPU 消耗,建议使用线上数据,如果第一次上线,则使用基准压测数据。3ec5630c6fff51ebb39b50936e8d9351.png

假设上述qps占用32core

  1. 每个请求占用的CPU资源 = 32 * 40%/13400 = 0.09%

  2. 32core满载的情况下承载 QPS 最大值 = 3200/0.09 = 35,555

  3. 当然按照业界标准一般CPU占用率安全线 85%,那么 35,555 * 0.85 = 30221 qps

  4. 如果要满足 10w qps 需求,那么就需要 106core = 100000/30221 * 32

当然这是一种资源评估方法,并不能完全解决服务中存在的问题,比如说 JVM 在某个不确定的时间发生了 GC、存在 SQL 慢查询....这种偶尔故障导致的CPU消耗超过阈值,只能具体问题具体分析,比如:JVM 调优,尽可能少发生 FGC。添加监控告警指标,出现不符合正常逻辑指标升高,告警、人工处理等。

3、采购硬件

硬件资源是软件运行过程中不可忽略的成本,只有根据上述数据评估清楚,到底需要购买多少硬件,才应该开始硬件的采购和安装过程。

事项
内容
完成时间
确定需求

采购理由

征求供应商报价

订购设备

物理安装设备

操作系统和应用程序配置安装

测试

上线服务

这里的原则是尽可能采购同类型的机器,减少机器之间的差异性,简化故障维修;当机器不同零部件出现问题时可以同型号装配,提高硬件资源利用率;最后尽量不做做定制化设置,有利于后期的自动化。

容量规划问题讨论

  • 性能优化和容量规划区别与联系

在我工作过程中,经常有人把性能优化和容量规划混为一谈,认为他们两个可以直接划等号,其实并没有什么关系,性能优化只是其中一个过程,通过性能优化可以提高服务处理能力,降低资源消耗,但是容量规划还是需要按部就班的做。

  • 产品规划前期没有容量规划,导致后期没有资源

在很多开发团队中,产品和开发甚至运维人员都是相对比较独立的团队,这就导致产品人员不关心开发进度、开发不关心运维如何部署,这个没什么好的办法,只能改变企业文化,加强产品开发运维的一体化,这就现在工作中倡导的DevOps。

  • 如何最大自己的资源

使用操作系统虚拟化技术,比如现在的Kubernetes,能够轻松完成资源的调度和分配,从而实现峰谷互补。

总结

容量规划这种事不去做,一直都是个空白,只要迈开第一步,随着时间的推移,会逐渐认识到自己服务的处理能力,容量预测也会变得更加准确,服务稳定性也会在一定程度上得到保障。

21a6a53f9aafcda0666ebdb2a81903ce.png

推荐

添加 K8S CPU limit 会降低服务性能?

Kubernetes入门培训(内含PPT)


原创不易,随手关注或者”在看“,诚挚感谢!

;