read more在做二分类任务的时候，往往可采用的方法有很多，比如 对数几率回归 或者树模型(往往是 随机森林 ， GBDT 这一类集成模型)，当然还有很多种办法， 感知机 就是其中的比较直观和简单的一种，感知机的原理很简单，考虑在特种空间中的 线性可分 …
从GBDT到XGBoost
read more这次继续聊Boosting模型，上一篇聊了AdaBoost，AdaBoost的核心思想是通过提升错分的数据权重，来更关注错分的数据，同时根据每次迭代的正确率来给当前的弱模型一个权重，这个弱模型准确率越高，则这个弱模型的权重就越大，这是合理的，但是其实这样还是不够直接，更直接的做法是比如说第一次训练了一个弱模型，这个弱模型肯定不会是100%完美的，肯定会存在一定的误差(残差)，此时更直接的想法就是我再 …
集成学习(随机森林 AdaBoost)