支持向量机

问题

与逻辑回归类似的分类问题，但SVM通过最大化分类间隔来获得更好的泛化性能

基本思想

相比逻辑回归的主要区别：

损失函数

使用hinge loss代替对数损失

$$J(\theta )=C\sum _{i=1}^m[y^{(i)}{\text{cost}}_1({\theta }^T{x}^{(i)})+(1-y^{(i)}){\text{cost}}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

其中参数C控制正则化强度（$C=\frac{1}{\lambda }$）

• C大：低偏差，高方差（类似小λ）
• C小：高偏差，低方差（类似大λ）

核函数 (Kernels)

动机

对于非线性可分的数据，SVM使用核函数将数据映射到高维空间，使其在高维空间中线性可分

常用核函数

1. 线性核 (Linear Kernel)：

$$K(x^{(i)},x^{(j)})=(x^{(i)}{)}^T{x}^{(j)}$$

2. 高斯核/RBF核 (Gaussian/RBF Kernel)：

$$K(x^{(i)},x^{(j)})=\exp \left(-\frac{\Vert x^{(i)}-x^{(j)}{\Vert }^2}{2{\sigma }^2}\right)$$

3. 多项式核 (Polynomial Kernel)：

$$K(x^{(i)},x^{(j)})=(x^{(i)T}{x}^{(j)}+c{)}^d$$

优化

核函数的选择

• n >> m（特征数远大于样本数）：使用线性核
• n小，m适中：使用高斯核
• n小，m很大：增加特征后使用逻辑回归或线性核SVM

SVM vs 逻辑回归

算法	优势	适用场景
SVM	内存效率高，适合高维	文本分析，基因分析
逻辑回归	输出概率，可解释性强	需要概率输出的场景

特征缩放

使用高斯核时，特征缩放尤为重要，因为核函数基于欧几里得距离计算

参数调优

• 交叉验证选择最优的C和σ²
• 网格搜索：尝试不同参数组合