优化方法的本质

优化方法本质上就是在给定约束条件下，求解目标函数的最值；因此，通常也叫做“最优化”方法。由于“最值”在大多数情况下是非常难得到的，求解的往往是局部“极值”；这里，我们仍谨慎的称之为优化方法。

此外，如果目标函数有明显的表达形式，一般可通过微分法、变分法、最大(小)值原理和动态规划方法等求解。如果目标函数比较复杂甚至无法写出显示表达式，则可用数值方法或“试验最优化”等直接方法求解，本文介绍后一种方法。