自学内容网 自学内容网

机器学习之过拟合(算法参数,超参数) 欠拟合(模型参数)

过拟合欠拟合在机器学习中分别与算法参数、超参数模型参数相关联。以下详细说明两者之间的联系及影响:

1. 过拟合与算法参数、超参数的关系

1.1 算法参数对过拟合的影响
  • 模型的自由度:当模型的参数过多时(自由度高),它能够拟合训练数据中的噪声和异常点,导致过拟合。

    • 例如:在多项式回归中,高阶多项式(如10阶)可以完全拟合训练数据,但可能导致泛化能力差。
  • 权重/系数的大小:模型中的权重过大可能导致输出对输入的微小变化过于敏感,从而适配训练数据的噪声。

1.2 超参数对过拟合的影响

超参数是控制模型训练过程和复杂度的重要因素,常见的超参数与过拟合的关系包括:

  • 正则化强度

    • ( L_1 ) 和 ( L_2 ) 正则化通过限制权重的大小来降低模型复

原文地址:https://blog.csdn.net/u011095039/article/details/145058384

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!