决策树（DT）在人工智能中所处的位置：人工智能＞机器学习＞监督学习＞决策树。决策树主要用来解决分类和回归问题，但是决策树（DT）会产生过拟合现象，导致泛化能力变弱。过拟合是建立决策树模型时面临的重要挑战之一。鉴于决策树容易过拟合的缺点，由美国贝尔实验室大牛们提出了采用随机森林（RF）投票机制来改善决策树。随机森林（RF）则是针对决策树（DT）的过拟合问题而提出的一种改进方法，而且随机森林（RF）是一个最近比较火的算法。因此有必要对随机森林（RF）作进一步探讨。
随机森林（RF）在人工智能中所处的位置：人工智能＞机器学习＞监督学习＞决策树＞随机森林。
随机森林（RF）指的是利用多棵树对样本进行训练并预测的一种分类器。该分类器最早由Leo Breiman和Adele Cutler提出，并被注册成了商标。
那么什么是随机森林？
随机森林（RandomForests）是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。Leo Breiman和Adele Cutler发展并推论出随机森林的算法。随机森林（RF）这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合 Breimans 的 ＂Bootstrap aggregating＂ 想法和 Ho 的＂random subspace method＂以建造决策树的集合。
通过定义我们知道，随机森林（RF）要建立了多个决策树（DT），并将它们合并在一起以获得更准确和稳定的预测。随机森林的一大优势在于它既可用于分类，也可用于回归问题，这两类问题恰好构成了当前的大多数机器学习系统所需要面对的。
随机森林是集成学习的一个子类，它依靠于决策树的投票选择来决定最后的分类结果。集成学习通过建立几个模型组合的来解决单一预测问题。集成学习的简单原理是生成多个分类器／模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
随机森林的构建过程：
假设N表示训练用例（样本）个数，M表示特征数目，随机森林的构建过程如下：
1） 输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M。
2） 从N个训练用例（样本）中以有放回抽样的方式，取样N次，形成一个训练集，并用未抽到的用例（样本）作预测，评估其误差。
3） 对于每一个节点，随机选择m个特征，决策树上每个节点的决定都是基于这些特征确定的。根据m个特征，计算其最佳的分裂方式。
4） 每棵树都会完整成长而不会剪枝，这有可能在建完一棵正常树状分类器后会被采用。
5） 重复上述步骤，构建另外一棵棵决策树，直到达到预定数目的一群决策树为止，即构建好了随机森林。
其中，预选变量个数（m）和随机森林中树的个数是重要参数，对系统的调优非常关键。这些参数在调节随机森林模型的准确性方面也起着至关重要的作用。科学地使用这些指标，将能显著的提高随机森林模型工作效率。
影响性能因素：
1）森林中的每个树越茂盛，分类效果就越好。
2）树和树的枝叶穿插越多，分类效果就越差。
随机森林的随机选取：
1）数据的随机选取：从原始的数据集中采取有放回的抽样，构造子数据集。相同或不同子数据集的元素都可以重复。利用子数据集构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。新的数据需要通过随机森林得到分类结果，通过对子决策树的判断结果的投票，得到随机森林的输出结果。
2）待选特征的随机选取：随机森林中子树的每一个分裂过程并没有用到所有的待选特征，仅从所有的待选特征中随机选取一定的特征，再在随机选取的特征中选取最优特征。这样能使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能。
随机森林优点：
1）具有极高的准确率；
2）可以处理大量的输入变数，并可以评估变数的重要性；
3）随机性的引入，使得随机森林不容易过拟合；
4）随机性的引入，使得随机森林有很好的抗噪声能力；
5）能处理很高维度的数据，并且不用做特征选择；
6）在创建随机森林的时候，对generlizationerror使用的是无偏估计；
7）既能处理离散型数据，也能处理连续型数据，数据集无需规范化；
8）对于不平衡的分类资料集来说，可以平衡误差；
9）训练速度快，可以得到变量重要性排序；
10）容易实现并行化。
随机森林缺点：
1）当随机森林中的决策树个数很多时，训练时需要的空间和时间会较大；
2）随机森林在解决回归问题时并没有像它在分类中表现的那么好，不能够作出超越训练集数据范围的预测，这可能导致在对某些还有特定噪声的数据进行建模时出现过度拟合；
3）随机森林模型还有许多不好解释的地方，有点算是黑盒模型；
随机森林应用前景：
随机森林具有准确度高、抗噪声能力强、不容易过拟合、数据集无需规范化、平衡误差、训练速度快、易实现并行化、应用性强、适用范围广等优点。近年来，随机森林模型在界内的关注度与受欢迎程度有着显著的提升。它可以快速地被应用到几乎任何的数据科学问题中去，从而使人们能够高效快捷地获得第一组基准测试结果。在各种各样的问题中，随机森林一次又一次地展示出令人难以置信的强大，而与此同时它又是如此的方便实用。随机森林算法可被用于很多不同领域，如银行，股票市场，医药和电子商务。在银行领域，用来检测那些比普通人更高频率使用银行服务的客户，并及时偿还他们的债务。也会被用来检测那些想诈骗银行的客户。在金融领域，可用于预测未来股票的趋势。在医疗保健领域，可用于识别药品成分的正确组合，分析患者的病史以识别疾病。在电子商务领域中，随机森林可以被用来确定客户是否真的喜欢某个产品。
结语：
随机森林是一种多功能的机器学习算法，能够执行回归和分类的任务。随机森林用随机的方式建立一个森林，森林里面有很多的决策树组成，可以将几个低效模型（决策树）整合为一个高效模型（随机森林）。
它主要解决了决策树泛化能力弱的缺点。同时，随机森林也实现了数据降维，是处理缺失值、异常值或其他数据的重要手段，并取得了不错成效。
随机森林是人工智能之机器学习中最近比较火的算法，具有准确度高、抗噪声强、速度快、并行化、适用广等优点，在实际应用中，随机森林算法性能表现得非常强大和实用，因此在业界受到高度关注和欢迎，其应用前景非常广泛和深远。
注意：本文归作者所有，未经作者允许，不得转载
