过拟合和欠拟合

什么是过拟合和欠拟合

欠拟合和过拟合属于对立情况，都是模型导致泛化能力不高的两种常见原因，均为模型学习能力和数据复杂性失调的表现

过拟合/高方差（overfiting/high variance）

过拟合的定义以及验证方法

问题表现方式：高方差
- 如果训练集和测试集的误差存在较大差异时，即为高方差；
- 在高方差时，训练集训练效果很好，但是验证集的验证效果很差时，即训练集和验证集呈现出较大的差异，即模型的泛化能力差。这种现象称为过拟合；
检验方法：此时，观察模型在训练集和测试集上的损失函数值随着epoch的变化情况，当模型在测试集上的损失函数值出现先下降后上升，那么此时可能出现过拟合。

导致过拟合的原因

训练集数量不足，样本类型单一 例如：如果我们使用只包含负样本的训练集训练模型，然后利用训练好的模型预测验证集中的正样本时，此时就会出现，模型在训练的时候，效果很好，但是在验证的时候出现效果下降问题。因此，在选取训练集时，应当覆盖所有的数据类型；
训练集中存在噪声 噪声指的是训练数据中的干扰数据，噪声数据会误导模型记录较多的错误特征信息，而忽略了真实样本中的正确特征信息；
模型复杂程度高 当模型过于复杂时，对导致模型过于充分的学习到训练数据中特征信息，但是遇到没有见过的数据时不能够变通，泛化能力太差。我们希望模型对不同的数据都有稳定的输出。模型太复杂是过拟合的重要因素。

过拟合的解决方法

标注不同类型的样本，使样本尽可能的均衡 数据经过清洗之后再进行模型训练，防止噪声数据干扰模型；
降低训练模型复杂度 在训练和建立模型的时候，从相对简单的模型开始，不要一开始就把特征设计的非常多，模型参数调的非常复杂；
正则化 在模型算法中添加惩罚函数来防止模型出现过拟合问题。常见的有L1，L2，dropout正则化等。且L1正则还可以自动进行特征选择；
采用bagging（如随机森林等）集成学习方法来防止过拟合
减少特征个数（不推荐） 可以使用特征选择，减少特征数或使用较少的特征组合，对于按区间离散化的特征，增大划分的区间；
交叉验证 利用交叉检验的方法，来让模型得到充分的训练，以得到较优的模型参数；
早停策略 本质上是交叉验证策略，来选择合适的训练次数，避免训练的网络过度拟合训练数据；
DropOut策略 核心思想就是bagging，可以看作是低成本的集成学习。所谓的dropout指的是在前向传播算法和反向传播算法训练DNN模型时，一批数据迭代时，随机的从全连接DNN网络中去掉一部分隐藏层的神经元。在对训练集中的一批数据进行训练时，我们随机去掉一部分隐藏层的神经元，并用去掉隐藏层的神经元的网络来拟合我们的一批训练数据。使用基于dropout的正则化比基于bagging的正则化简单，但也并非完全优于bagging，由于dropout会将原始数据分批迭代，因此原始数据集最好较大，否则模型可能会欠拟合。

欠拟合/高偏差（underfiting/high bias）

欠拟合的定义以及检验方法

问题表现：高偏差
- 如果训练集和测试集的误差收敛，但是收敛值很高，即为高偏差；d
- 虽然训练集和测试集都可以收敛，但是偏差很高，训练集和验证集的准确率都很低，这种现象称为欠拟合；
检验方法：模型无法很好的拟合数据，导致训练集和测试集效果都不佳

导致欠拟合的原因

原因：模型没有充分学习到数据中的特征信息，使得模型无法很好地拟合数据

欠拟合的解决方法

特征工程 添加更多的特征项，例如：特征组合、高次特征等，来增大假设空间；
集成学习方法 boosting（如GBDT）能够有效解决high bias；
提高模型复杂度 当所采用的模型比较简单，不能不能够应对复杂的任务。可以考虑提升模型复杂度，选用复杂度更好、学习能力更强的模型。比如说可以使用SVM的和函数，增加模型的复杂度，把低维不可分的数据映射到高维空间，就可以线性可分，减少欠拟合；
减少正则化系数