2. 从GBDT到XGBoost

   这次继续聊Boosting模型，上一篇聊了AdaBoost，AdaBoost的核心思想是通过提升错分的数据权重，来更关注错分的数据，同时根据每次迭代的正确率来给当前的弱模型一个权重，这个弱模型准确率越高，则这个弱模型的权重就越大，这是合理的，但是其实这样还是不够直接，更直接的做法是比如说第一次训练了一个弱模型，这个弱模型肯定不会是100%完美的，肯定会存在一定的误差(残差)，此时更直接的想法就是我再 …

   read more

3. 集成学习(随机森林 AdaBoost)

   在文章《 决策树 》中讨论了简单决策树的构建，最后提到了决策树算法很容易引起过拟合问题，就是说当决策树贪婪的学习到“最优”的状态的时候，很容易就把数据中的一些噪声或者离群点当成正确的数据学习了进去，那么很显然会对模型的精度产生一定的影响，所以往往需要剪枝，让决策树的泛化能力更好一些，但是这里介绍另外一种更好的方法来让模型避免学习到噪声数据，从而提升模型的精度。

   集成学习 Ensemble …

   read more

4. 决策树

   今天来研究一下分类问题中的决策树，决策树从名字就可以看出来，是一种树形结构的决策模型。如标题图中所看见的，我们想通过是“否拥有房产”、“是否已婚”、“年收入”这3个维度，来判断该客户是否具有偿还某种贷款的能力，就可以建造一个这样的1个树形结构模型，但是这其中有两个问题：1 …

   read more

⇇ « Page 3 / 5 » ⇉