线性回归与损失 · 人工智能基础

为什么需要它

直觉理解

预测值 = w × x + b

MSE = (预测值 − 真实值)² 的平均值

w = Σ (x − x̄)(y − ȳ) / Σ (x − x̄)²
b = ȳ − w × x̄

定义

线性回归

Predicting a number with a straight line: w × x + b.

用一条直线预测一个数：w × x + b。

权重和偏置

The tunable numbers of a model. In a line, the weight is the slope and the bias is the value at x = 0.

模型里可以调整的数。在直线里，权重是斜率，偏置是 x = 0 时的值。

损失

A number that says how wrong the predictions are. Training tries to make it small.

衡量预测有多错的一个数。训练就是想办法让它变小。

均方误差

The average of the squared differences between predictions and actual values.

预测值与真实值之差的平方的平均值。

示例

1
2
3
4
5
6
7
8
9
10
11
12

xs = [1, 2, 3, 4]
ys = [3, 5, 7, 9]

def predict(w, b, x):
    return w * x + b

def mse(w, b):
    errors = [(predict(w, b, x) - y) ** 2 for x, y in zip(xs, ys)]
    return sum(errors) / len(errors)

print(mse(1, 1))
print(mse(2, 1))

7.5
0.0

1
2
3
4
5
6
7
8
9

xs = [1, 2, 3, 4, 5]
ys = [2.1, 3.9, 6.2, 7.8, 10.1]

mx = sum(xs) / len(xs)
my = sum(ys) / len(ys)
w = sum((x - mx) * (y - my) for x, y in zip(xs, ys)) / sum((x - mx) ** 2 for x in xs)
b = my - w * mx
print(round(w, 2), round(b, 2))
print(round(w * 6 + b, 1))

1.99 0.05
12.0

常见错误

小测验

1
2
3
4

actual = [10, 20, 30, 40]
predicted = [12, 18, 30, 44]
errors = [(p - a) ** 2 for p, a in zip(predicted, actual)]
print(sum(errors) / len(errors))

动手练习

3 道练习，分三层：先预测程序的输出，再按新需求改程序，最后从零写一个。代码在浏览器里运行，提交马上判题。

1. 预测输出沿着直线走

   准确写出它打印的内容。

2. 改需求互相抵消的误差

   这个损失函数对明显错误的预测也报告完美的 0.0：一个偏高、一个偏低，正好抵消。修改 mse，让它返回均方误差（要平方）。

3. 从零写拟合直线

   写一个 fit(xs, ys)，用本课的公式返回最小二乘直线的 (w, b)。xs 里至少有两个不同的值。

   fit([1, 2, 3, 4], [3, 5, 7, 9])   # (2.0, 1.0)

本课术语