计算机工程

作者：常硕, 张彦春

单位：1. 复旦大学 计算机科学技术学院, 上海 200082;2. 广州大学 网络空间先进技术研究院, 广州 510006

关键词：随机森林,袋外预测,扩展空间,相关性,决策树

基金：国家自然科学基金（61672161）。

随机森林在bootstrap的基础上通过对特征进行抽样构建决策树，以牺牲决策树准确性的方式来降低决策树间的相关性，从而提高预测的准确性。但在数据规模较大时，决策树间的相关性仍然较高，导致随机森林的性能表现不佳。为解决该问题，提出一种基于袋外预测的改进算法，通过提高决策树的准确性来提升随机森林的预测性能。将随机森林的袋外预测与原特征相结合并重新训练随机森林，以有效降低决策树的VC-dimension、经验风险、泛化风险并提高其准确性，最终提升随机森林的预测性能。然而，决策树准确性的提高会使决策树间的预测趋于相近，提升了决策树间的相关性从而影响随机森林最终的预测表现，为此，通过扩展空间算法为不同决策树生成不同的特征，从而降低决策树间的相关性而不显著降低决策树的准确性。实验结果表明，该算法在32个数据集上的平均准确率相对原始随机森林提高1.7%，在校正的paired t-test上，该方法在其中19个数据集上的预测性能显著优于原始随机森林。

来源：2022年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第3期