首页
登录 | 注册

支持向量机(SVM)中相关问题的思考

泰勒级数将其展开至无限维,从而实现将输入特征映射到无穷维。

  • SMO算法思想:它选择凸二次规划的两个变量,其它的变量保持不变,然后根据这两个变量构建一个二次规划问题,这个二次规划关于这两个变量解会更加的接近原始二次规划的解,通过这样的子问题划分可以大大增加整个算法的计算速度。关于这两个变量,其中一个是严重违反KKT条件的一个变量,另一个变量是根据自由约束确定

  • 关于最大化几何间隔的目标函数中,将函数间隔直接设置为1的理由:
    Andrew Ng在CS229中解释为:
    wwbb添加了隐含的放缩限制,即使ww2w2*wbb2b2*b,最后的预测值只依据于正负,所以不影响结果。
    在寻找几何间隔最大值的过程中,因为寻找最大几何间隔和寻找令几何间隔达到最大的超平面是一回事,所以当给出一个超平面,无论它的几何间隔是多少,只要是正值(因为是在正负样本区域中间,所以肯定是正值),我都可以令这个超平面的w=1/γγ^=1||w||=1/\gamma\Rightarrow \hat{\gamma}=1
    或者说给出一个超平面,然后规定它的γ^=1\hat{\gamma}=1,那么如果它的γ=0.1\gamma=0.1,那么w=10||w||=10;如果γ=1\gamma=1,那么w=1||w||=1,也就是说,γ\gamma越大,||w||越小。既然如此,那么原先寻找γ\gamma的最大值就变成了寻找w||w||的最小值,即maxγ\max\gamma等价于max1w\max\frac{1}{||w||}


  • 推导过程注意点

    1. h(x) = wTx + b,向量w为超平面的法向量(其中w1x1+w2y1+b=0,w1x2+w2y2=0=>w1(x1x2)+w2(y1y2)=0w_1x_1 + w_2y_1 + b = 0, w_1x_2 + w_2y_2 = 0 => w_1(x_1 - x_2) + w_2(y_1- y_2) = 0,所以 w为超平面的法向量 );
    2. 最大化样本集的几何间隔,同时使得所有样本的几何间隔都大于这个间隔,由于w和b可随意缩放,这里假设w=1||w|| = 1使得样本集的几何间隔等于函数间隔;
    3. 在凸集上寻找凸函数的全局最值的过程称为凸优化,即目标函数(objective function)是凸函数,可行集(feasible set)为凸集,w=1||w|| = 1的条件会导致可行集为非凸集;
    4. w=1||w|| = 1的条件去掉,并替换限制条件中的几何间隔为函数间隔,因为这个限制条件原本是为了保证数据集的几何间隔等于函数间隔;
    5. 由于目标函数仍然不是凸函数(双曲线),而函数间隔通过缩放wwbb可以是任何值。将数据集的函数间隔设置为1,这个约束可以成立是因为无论函数间隔等于多少,都可以让wwbb同时除以函数间隔使得函数间隔等于1,这是一个隐含的缩放条件。

    相关文章

    • 云原生的新思考,为什么容器已经无处不在了
      4月24日,中国信息通信研究院主办的首届云原生产业大会在北京举行,在<云原生数字引领未来>的主题演讲中,阿里云容器服务总监易立表示:"云原生不但可以很好的支持互联网应用,也在深刻影响着新的计算架构.新的智能数据应用.以 ...
    • 像数据科学家一样思考:12步指南(下)
      第三阶段-完成 一旦产品构建完成,你仍然需要做一些事情来使项目更加成功并使你的未来生活更轻松.那么我们如何完成数据科学项目呢? 10-交付产品 完成阶段的第一步是产品交付.为了创建可以交付给客户的有效产品,首先必须了解客户的观点.其次,你需 ...
    • 字符串: 字符串用单引号(')或双引号(")括起来,不可变 1,find通过元素找索引,可切片,找不到返回-1 2,index,找不到报错. 3,split 由字符串分割成列表,默认按空格. 4,captalize 首字母大写,其 ...
    • 码上用它开始Flutter混合开发——FlutterBoost
      开源地址: https://github.com/alibaba/flutter_boost 为什么需要混合方案 具有一定规模的App通常有一套成熟通用的基础库,尤其是阿里系App,一般需要依赖很多体系内的基础库.那么使用Flutter重新 ...
    • 贾扬清:我对人工智能方向的一点浅见
      阿里妹导读:作为 AI 大神,贾扬清让人印象深刻的可能是他写的AI框架Caffe ,那已经是六年前的事了.经过多年的沉淀,成为"阿里新人"的他,对人工智能又有何看法?最近,贾扬清在阿里内部分享了他的思考与洞察,欢迎共同探 ...
    • 一份还热乎的蚂蚁金服面经(已拿Offer)!附答案!!
      本文来自我的知识星球的球友投稿,他在最近的校招中拿到了蚂蚁金服的实习生Offer,整体思路和面试题目由作者--泽林提供,部分答案由Hollis整理自知识星球<Hollis和他的朋友们>中「直面Java」板块. 经历了漫长一个月的 ...

    2020 jeepshoe.net webmaster#jeepshoe.net
    13 q. 0.376 s.
    京ICP备10005923号