只懂线性回归？来看看贝叶斯回归和高斯过程回归

主要观点总结

这篇文章主要介绍了线性回归中的最小二乘估计、贝叶斯线性回归以及高斯过程回归。内容包括最小二乘估计的矩阵推导和概率视角，正则化最小二乘估计的矩阵推导和概率视角，贝叶斯线性回归的推理和预测，以及高斯过程的定义和其在权重空间与函数空间视角的高斯过程回归推导。文章还给出了高斯过程回归的补充说明和参考链接。

关键观点总结

关键观点1: 最小二乘估计等价于噪声服从正态分布的极大似然估计。

在模型为y=Xβ+ε的情况下，通过对ε求导并令其等于零，可以得到伪逆最小二乘估计的几何含义。从概率视角看，最小二乘估计可以看作是噪声服从正态分布的极大似然估计。

关键观点2: 正则化最小二乘估计可以应对样本数量过少导致过拟合的问题。

在特征数量很多或者样本数量太少的情况下，矩阵X可能是不可逆的。通过添加L2正则化项，可以保证矩阵X变得可逆，从而避免过拟合。从概率视角看，正则化最小二乘估计等价于最大后验概率估计MAP。

关键观点3: 贝叶斯线性回归将参数视为未知的随机变量。

与传统的点估计不同，贝叶斯线性回归将参数β视为未知的随机变量。通过贝叶斯公式进行推理，得到参数的分布，然后用于预测。

关键观点4: 高斯过程回归是一种非参数模型，可以从权重空间和函数空间两个角度看待。

高斯过程回归是一种非参数模型，通过将数据点看作高斯过程中的采样点，从权重空间和函数空间两个角度进行推导。高斯过程回归的流程包括确定数据点、均值函数、协方差函数/核函数，然后根据后验概率进行预测。