景德镇市城市建设规划网站,做网站推广需要花多少钱,广西做网站公司有哪些,wordpress 预览插件没有系统学过数学优化#xff0c;但是机器学习中又常用到这些工具和技巧#xff0c;机器学习中最常见的优化当属凸优化了#xff0c;这些可以参考Ng的教学资料#xff1a;http://cs229.stanford.edu/section/cs229-cvxopt.pdf#xff0c;从中我们可以大致了解到一些凸优化… 没有系统学过数学优化但是机器学习中又常用到这些工具和技巧机器学习中最常见的优化当属凸优化了这些可以参考Ng的教学资料http://cs229.stanford.edu/section/cs229-cvxopt.pdf从中我们可以大致了解到一些凸优化的概念比如凸集凸函数凸优化问题线性规划二次规划二次约束二次规划半正定规划等从而对凸优化问题有个初步的认识。以下是几个重要相关概念的笔记。 凸集的定义为 其几何意义表示为如果集合C中任意2个元素连线上的点也在集合C中则C为凸集。其示意图如下所示 常见的凸集有 n维实数空间一些范数约束形式的集合仿射子空间凸集的交集n维半正定矩阵集这些都可以通过凸集的定义去证明。 凸函数的定义为 其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值示意图如下 凸函数的一阶充要条件为 其中要求f一阶可微。 二阶充要条件为 其中要求f二阶可微表示二阶导数需大于0才是凸函数。 常见的凸函数有指数函数族非负对数函数仿射函数二次函数常见的范数函数凸函数非负加权的和等。这些可以采用上面2个充要条件或者定义去证明。 凸优化问题OPT的定义为 即要求目标函数是凸函数变量所属集合是凸集合的优化问题。或者目标函数是凸函数变量的约束函数是凸函数不等式约束时或者是仿射函数等式约束时。 对于凸优化问题来说局部最优解就是全局最优解。 常见的凸优化问题包括 线性规划LP该问题是优化下面的式子 其中那个不常见的奇怪符号表示按元素小于等于后面出现类似符号可以类似理解。 二次规划QP该问题是优化下面的式子 二次约束的二次规划QCQP该问题是优化下面的式子 半正定规划SDP该问题是优化下面的式子 按照文章说SDP在机器学习领域应用很广最近很流行不过我好像没太接触到过。 参考资料 http://cs229.stanford.edu/section/cs229-cvxopt.pdf 作者tornadomeet 出处http://www.cnblogs.com/tornadomeet 欢迎转载或分享但请务必声明文章出处。 新浪微博tornadomeet,欢迎交流 转载于:https://www.cnblogs.com/rongfangliu/p/5780708.html
相关文章：
