优化笔记怎么做？ 优化怎么做简单又省时？

凸优化|笔记整理(B)——再看交替方向乘子法(ADMM),Frank-Wolfe方法_百...

近端优化：通过转换得到等价形式，利用增强拉格朗日法求解。LASSO问题：直接利用ADMM迭代更新求解。稀疏子空间估计：通过矩阵操作解决，涉及矩阵的投影算子。稀疏 + 低秩分解：有效处理稀疏与低秩约束，实现高效分解。2dfused LASSO：解决图像降噪问题，保留重要特征。

这一节我们会介绍交替方向乘子法（ADMM），这是一个广泛应用于优化问题的流行方法。课件上举了大量实例来说明它的应用，我们同样会介绍Frank-Wolfe方法，这同样是一个设计上有特色的优化算法。我们开始吧。交替方向乘子法（ADMM）的核心在于“交替方向”和“乘子”。

交替方向乘子法（ADMM）是一个用于解决含有等式约束的优化问题的方法，特别适用于具有两个优化变量的情况。其通用形式为：其中，x，y为优化变量，Ax + By为等式约束，f（x）和g（y）为凸函数。ADMM广泛应用于信号处理、图像处理、机器学习、工程计算等领域，以其快速的收敛速度和良好的收敛性能著称。

最优化抄书笔记:罚函数法

1、算法步骤包括初始点选择、罚参数序列设定、迭代求解无约束优化问题直至满足条件。内点罚函数法从可行域内部逼近最优解。构造增广目标函数，使其在边界上值为正无穷，阻止目标函数在边界穿越，而在可行域内部接近原目标函数值。对数障碍函数常用于构造此类增广目标。

2、Newton-Lagrange方法 我们第一部分的目标是学习序列二次规划算法（SQP）。作为铺垫，在此之前我们需要先简单了解Newton-Lagrange方法。考虑只有等式约束的优化问题，记Lagrange函数为，根据KT条件，最优解满足方程组。用Newton迭代法进行求解，求解优化问题相当于解上面的非线性方程组。

最优化抄书笔记:共轭梯度法(2)

1、从线性方程组优化笔记怎么做的视角出发优化笔记怎么做，我们将重新探讨共轭梯度法，更深入地理解其核心原理。考虑线性方程组 [公式]，其中 [公式] 是对称正定矩阵，解决策略是将其转化为优化问题：寻找使 [公式] 最小化的 [公式]。

2、总的来说，共轭梯度法在优化领域具有重要地位，它通过构造共轭方向序列，实现快速收敛，适用于多种优化问题。无论是线性二次函数优化还是非线性函数优化，共轭梯度法都能展现出其独特的优势。

3、信赖域方法是一种优化无约束问题的有效算法，通过在当前点周围构造近似的二次函数进行求解。接下来，我们将深入理解其结构，包括非精确求解的截断共轭梯度法和精确求解的光滑牛顿法，以及如何通过算法调整参数和处理子问题。实际编程演示也展示了算法的稳健性。下篇笔记将详细介绍理论分析和更多案例。

最优化抄书笔记:序列二次规划

1、我们第一部分的目标是学习序列二次规划算法（SQP）。作为铺垫，在此之前我们需要先简单了解Newton-Lagrange方法。考虑只有等式约束的优化问题，记Lagrange函数为，根据KT条件，最优解满足方程组。用Newton迭代法进行求解，求解优化问题相当于解上面的非线性方程组。

2、记笔记的时候尽量少而精，记框架，不要全本抄书。 不用太纠结哪个细小的知识点没看懂，后期知识点积累的多了可能慢慢就懂了。 两门专业课交叉着来看，减少视觉疲劳感。 （4）另外就是慢慢的开始培养自己的学习意识，养成学习习惯。