设为首页 - 加入收藏 延边站长网 (http://www.0433zz.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: mini 系统 为什 为啥
当前位置: 首页 > 运营中心 > 建站资源 > 经验 > 正文

机器学习的正则化是什么意思?

发布时间:2019-10-16 23:16 所属栏目:[经验] 来源:佚名
导读:经常在各种文章或资料中看到正则化,比如说,一般的目标函数都包含下面两项 其中,误差/损失函数鼓励我们的模型尽量去拟合训练数据,使得最后的模型会有比较少的 bias。而正则化项则鼓励更加简单的模型。因为当模型简单之后,有限数据拟合出来结果的随机性

机器学习的正则化是什么意思?

经常在各种文章或资料中看到正则化,比如说,一般的目标函数都包含下面两项

机器学习的正则化是什么意思?

其中,误差/损失函数鼓励我们的模型尽量去拟合训练数据,使得最后的模型会有比较少的 bias。而正则化项则鼓励更加简单的模型。因为当模型简单之后,有限数据拟合出来结果的随机性比较小,不容易过拟合,使得最后模型的预测更加稳定。

但一直没有一篇好的文章理清到底什么是正则化?

说到正则化,得先从过拟合问题开始谈起。

1)? The Problem of Overfitting(过拟合问题)

拟合问题举例-线性回归之房价问题:

a) 欠拟合(underfit, 也称High-bias,图片来源:斯坦福大学机器学习第七课“正则化”)

机器学习的正则化是什么意思?

b) 合适的拟合:

机器学习的正则化是什么意思?

c) 过拟合(overfit,也称High variance)

机器学习的正则化是什么意思?

什么是过拟合(Overfitting):

如果我们有非常多的特征,那么所学的Hypothesis有可能对训练集拟合的非常好(

机器学习的正则化是什么意思?

),但是对于新数据预测的很差。

过拟合例子2-逻辑回归:

与上一个例子相似,依次是欠拟合,合适的拟合以及过拟合:

a) 欠拟合

机器学习的正则化是什么意思?

b) 合适的拟合

机器学习的正则化是什么意思?

c) 过拟合

机器学习的正则化是什么意思?

如何解决过拟合问题:

首先,过拟合问题往往源自过多的特征,例如房价问题,如果我们定义了如下的特征:

机器学习的正则化是什么意思?

那么对于训练集,拟合的会非常完美:

机器学习的正则化是什么意思?

所以针对过拟合问题,通常会考虑两种途径来解决:

a) 减少特征的数量:

-人工的选择保留哪些特征;

-模型选择算法

b) 正则化

-保留所有的特征,但是降低参数机器学习的正则化是什么意思?的量/值;

-正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量;

所以说,使用正则化的目的就是为了是为了防止过拟合。

机器学习的正则化是什么意思?

如上图所示,红色这条想象力过于丰富上下横跳的曲线就是过拟合情形。结合上图和正则化的英文,直译应该叫规则化。

什么是规则?比如明星再红也不能违法,这就是规则,一个限制。同理,规划化就是给需要训练的目标函数加上一些规则(限制),让它们不要自我膨胀,不要过于上下无规则的横跳,不能无法无天。

机器学习的正则化是什么意思?

L1正则化和L2正则化

机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作?1-norm和?2-norm,中文称作L1正则化和L2正则化,或者L1范数和L2范数。

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。

对于线性回归模型,使用L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归)。

下图是Python中Lasso回归的损失函数,式中加号后面一项α||w||1即为L1正则化项。

机器学习的正则化是什么意思?

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章