自动扩缩容 · 云与可靠性

为什么需要它

直觉理解

期望副本数 = ceil( 当前副本数 × 当前指标 / 目标指标 )

定义

自动扩缩容

Automatically changing the number of copies of a service based on a metric such as CPU or requests per second.

根据 CPU 或每秒请求数等指标，自动改变服务的副本数量。

目标利用率

The level of a metric the autoscaler tries to keep each copy at, such as 50% CPU.

自动扩缩器努力让每个副本保持的指标水平，比如 50% 的 CPU。

抖动

Scaling up and down repeatedly because of small changes. A tolerance or a cool-down prevents it.

因为微小的变化反复扩容又缩容。容差或冷却时间可以防止它。

示例

1
2
3
4
5
6
7
8

import math

def desired(current, cpu, target):
    return math.ceil(current * cpu / target)

print(desired(4, 80, 50))
print(desired(4, 50, 50))
print(desired(10, 12, 50))

7
4
3

1
2
3
4
5
6
7
8
9
10

import math

def desired(current, cpu, target):
    return math.ceil(current * cpu / target)

def bounded(current, cpu, target, lo, hi):
    return max(lo, min(hi, desired(current, cpu, target)))

print(bounded(4, 300, 50, 2, 10))
print(bounded(4, 5, 50, 2, 10))

10
2

常见错误

小测验

1
2
3
4
5
6

import math

def desired(current, cpu, target):
    return math.ceil(current * cpu / target)

print(desired(3, 90, 60))

动手练习

3 道练习，分三层：先预测程序的输出，再按新需求改程序，最后从零写一个。代码在浏览器里运行，提交马上判题。

1. 预测输出忙碌的早晨

   准确写出它打印的内容。

2. 改需求别再抖动了

   这个自动扩缩器每有一点点变化就加减 Pod。加上容差：如果 cpu / target 和 1 相差在 10% 以内（0.9 到 1.1，含两端），就保持 current 不变。

3. 从零写重放一天

   写一个 replay(start, readings, target, lo, hi)，返回每次 CPU 读数之后的副本数。对每个读数：

   1. ratio = cpu / target；如果在 0.9 到 1.1 之间，保持当前数量
   2. 否则取 ceil(当前数量 × ratio)
   3. 然后限制在 lo…hi 之间

   replay(2, [50, 90, 300, 10], 50, 2, 8)   # [2, 4, 8, 2]

本课术语