发布时间:2024-02-17 16:30
特征选择是从现有特征中,选出与标签预测最为相关的特征,以减小特征规模的方法,其目的是去除无效或低效特征。其中,对无效特征和低效特征的筛选策略还有所差别:
无效特征是指对模型预测基本没有贡献的输入特征,它对模型预测无益且会浪费计算资源,应必须滤除;
而低效特征是指对模型预测贡献较少的输入特征,它的存在对减小模型预测误差意义不大,但对减小模型的预测方差还十分有意义(有助于增强模型鲁棒性,提高泛化性能),所以在计算速度可接受的情况下应尽量保留低效特征,只有在需要提升模型(线上)预测速度时,才应考虑滤除(部分或全部)低效特征。