单变量线性回归

问题

给定目标变量y在特征x的一组取值 $(x^{(1)}, \dots, x^{(m)})$ 下的值 $(y^{(1)}, \dots, y^{(m)})$ ，求变量y关于特征x的函数关系 $y = h_{θ} (x)$ ，其中 $h_{θ}$ 称为假设函数（默认为线性关系）

假设函数为 $h_{θ} (x) = θ_{0} + θ_{1} x$ ，其中 $θ_{0}$ 为偏置项（bias）， $θ_{1}$ 为权重

使用均方误差（Mean Squared Error, MSE）作为代价函数来衡量假设函数的准确程度：

J (θ_{0}, θ_{1}) = \frac{1}{2 m} i = 1 \sum m (h_{θ} (x^{(i)}) - y^{(i)})^{2}

矩阵形式为：

J (θ) = \frac{1}{2 m} (Xθ - y)^{T} (Xθ - y)

其中：

X = 11 ⋮ 1 x^{(1)} x^{(2)} ⋮ x^{(m)}, θ = [θ_{0} θ_{1}], y = y^{(1)} y^{(2)} ⋮ y^{(m)}

随机初始化 $θ_{0}, θ_{1}$ ，每次沿着梯度相反的方向（负梯度方向）行进一小步，直至达到步数限制或收敛：

θ := θ - α \nabla J (θ)

其中学习率 $α > 0$ ，梯度为：

\frac{\partial J}{\partial θ _{0}} = \frac{1}{m} i = 1 \sum m (h_{θ} (x^{(i)}) - y^{(i)})

\frac{\partial J}{\partial θ _{1}} = \frac{1}{m} i = 1 \sum m (h_{θ} (x^{(i)}) - y^{(i)}) x^{(i)}

矩阵形式：

θ := θ - \frac{α}{m} X^{T} (Xθ - y)

通过令梯度为零直接求解最优参数：

\nabla J (θ) = 0 \Rightarrow θ = (X^{T} X)^{- 1} X^{T} y

注意事项：

梯度下降 vs 正规方程：

当模型复杂度过高时可能出现过拟合。通过对参数（除 $θ_{0}$ 外）添加惩罚项来缓解：

岭回归 (Ridge Regression, L2正则化)：

J (θ) = \frac{1}{2 m} [i = 1 \sum m (h_{θ} (x^{(i)}) - y^{(i)})^{2} + λ j = 1 \sum n θ_{j}^{2}]

Lasso回归 (L1正则化)：

J (θ) = \frac{1}{2 m} [i = 1 \sum m (h_{θ} (x^{(i)}) - y^{(i)})^{2} + λ j = 1 \sum n ∣ θ_{j} ∣]

其中 $λ \geq 0$ 为正则化参数：