直接搜索法

直接搜索法，基于启发式方法的只利用目标函数值信息的无约束优化方法，如坐标轮换法、鲍威尔法，称为直接搜索法。因为直接搜索法既不需要计算也不要逼近导数，他们常常被描述成“导数无关”。而另一类利用目标函数的一阶或二阶导数信息的无约束优化方法，如梯度法、牛顿法、共轭梯度法、变尺度法，称为间接搜索法。在历史上，许多解决优化问题的方法都借助于熟悉的“经典分析技术”，即目标函数的泰勒级数展开。实际上，我们可以根据所用的展开项数来分类数值优化的方法。采用一、二阶导数的二阶泰勒多项式构建 f 的局部二次逼近。牛顿方法是一个二阶方法。采用一阶导数的一阶泰勒多项式构建 f 的局部线性逼近的最速下降方法是一个一阶方法。在这种分类中，“零阶方法”不需要求导信息和构造 f 的逼近。这些在工程优化界被称为零阶的方法就是直接搜索法。直接搜索法完全依赖于目标函数的值，但这并不能将直接搜索法同其他优化方法完全区分。另外无约束优化的直接搜索法仅仅依赖于通过可数集的函数值的相关阶的目标函数。直接搜索法可用新的迭代来减少目标。