注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

罗维的博客

{ 关注机器学习、计算广告、自然语言处理、大规模数据处理等 }

 
 
 
 
 

日志

 
 

正则项及其贝叶斯先验  

2015-04-21 08:15:58|  分类: 机器学习 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
1. 对多种正则项的整体描述
2015年04月21日 - vividfree - Cool Data
 
说明:
(1)当q<=1时,有特征选择的作用;当q>=1时,优化目标是凸函数
(2)L1正则(即Lasso)刚好是它们的交集

可视化表示
2015年04月21日 - vividfree - Cool Data
 

2. 正则项与贝叶斯分布的对应关系
拉普拉斯分布(也称双指数分布)对应L1正则
高斯分布(也称正态分布)对应L2正则

3. 样本量与贝叶斯推断方法效果的关系
当样本量少,且先验分布取的合适时,贝叶斯推断的效果会更好
优化目标由损失函数和先验分布组成,随着样本量的不断增加,先验分布在优化目标中的占比越来越小,使得引入贝叶斯推断的效果变得越来越不明显。

4. L1正则与L2正则的使用
如果需要稀疏特征,那可以选择L1正则(比如广告业务中CTR预估问题里动辄就上亿特征)。
如果不那么需要稀疏特征,那可以选择L2正则(林智仁等学术界人士以及quora里部分工业界人士的观点)。
  评论这张
 
阅读(391)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017