多变量线性回归

问题

在单变量线性回归的基础上，将特征变量个数扩展到n个 $X_{1}, \dots, X_{n}$

基本思路不变，假设函数推广为 $h_{θ} (x) = θ_{0} + θ_{1} x_{1} + \dots + θ_{n} x_{n}$

矩阵形式：

h_{θ} (x) = θ^{T} x = [θ_{0} θ_{1} \dots θ_{n}] 1 x_{1} ⋮ x_{n}

J (θ) = \frac{1}{2 m} (Xθ - y)^{T} (Xθ - y)

其中：

X = 11 ⋮ 1 x_{1}^{(1)} x_{1}^{(2)} ⋮ x_{1}^{(m)} \dots \dots ⋱ \dots x_{n}^{(1)} x_{n}^{(2)} ⋮ x_{n}^{(m)}, θ = θ_{0} θ_{1} ⋮ θ_{n}, y = y^{(1)} y^{(2)} ⋮ y^{(m)}

θ := θ - \frac{α}{m} X^{T} (Xθ - y)

θ = (X^{T} X)^{- 1} X^{T} y

不同特征的数值范围可能差异很大，需要标准化：

标准化 (Standardization)：

x_{j} = \frac{x _{j} - μ _{j}}{σ _{j}}

归一化 (Normalization)：

x_{j} = \frac{x _{j} - min ( x _{j} )}{max ( x _{j} ) - min ( x _{j} )}