为什么回归问题用 MSE？

主要观点总结

本文探讨了回归问题中为何使用MSE作为损失函数，包括其历史背景、理论基础和实际应用。文章介绍了MSE与MAE的对比，以及MSE与极大似然估计MLE的联系，特别是在假设噪声符合正态分布的情况下的线性回归问题。此外，文章还提到了MSE在某些情况下（如超级分辨率问题）的局限性。

关键观点总结

关键观点1: MSE作为回归问题的损失函数的历史背景和直观解释。

最初，取平方是为了简单地衡量模型的好坏并易于求导数。但随着科研的深入，发现MSE与数据偏差、outlier影响、模型优化目标等有关。

关键观点2: MSE与MAE的对比。

MSE对偏差较大的数据惩罚较多，易受outlier影响。而MAE的优化目标是中位数。在大数据集下，MSE的目标是使预测值接近y的平均值。

关键观点3: MSE与极大似然估计MLE的联系。

假设噪声符合正态分布时，线性回归的目标函数变成MSE。这是因为我们想最大化观测到的数据出现的概率，而正态分布的概率密度函数在忽略常数项后，与MSE的形式相符。

关键观点4: MSE在实际应用中的局限性。

在某些情况下，如超级分辨率问题，使用MSE可能会导致结果模糊。这是因为MSE基于高斯分布假设，结果会尽量接近高斯分布的最高点，使得结果不够尖锐。