Adaboost集成算法

一、Adaboost算法原理

        从图中可以看出，Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器2.，如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合，得到最终的强学习器。

        使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树。

二、Adaboost二分类算法流程

三、AdaBoost二分类的实例

四、AdaBoost的损失函数（推导系数a和权重w）

        Adaboost算法还有另一个解释：Adaboost是模型为加法模型，学习算法为前向分步学习算法，损失函数为指数函数的分类问题。

        模型为加法模型好理解，我们的最终的强分类器是若干个弱分类器加权平均而得到的。

        前向分步学习算法也好理解，我们的算法是通过一轮轮的弱学习器学习，利用前一个弱学习器的结果来更新后一个弱学习器的训练集权重。也就是说，第k-1轮的强学习器为：

        而第k轮的强学习器为：

        上两式一比较可以得到：

        可见强学习器的确是通过前向分步学习算法一步步而得到的。

         前向分步算法的损失函数是指数函数：

则Adaboost算法的损失函数为指数函数，即定义损失函数为：

利用前向分步学习算法的关系可以得到损失函数为：

五、Adaboost多元分类算法

        原理和二元分类类似，最主要区别在弱分类器的系数上。比如Adaboost SAMME算法，它的弱分类器的系数：

        其中R为类别数。从上式可以看出，如果是二元分类，R=2，和我们上面的二元分类算法中的弱分类器的系数一致。

六、Adaboost算法的正则化

        为了防止Adaboost过拟合，我们通常也会加入正则化项，这个正则化项我们通常称为步长(learning rate)。定义为ν，对于前面的弱学习器的迭代：

如果我们加上了正则化项，则有：

        ν的取值范围为0<ν≤1。对于同样的训练集学习效果，较小的ν意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果

作者：owolf
链接：https://www.jianshu.com/p/caf5985891b5