笔趣吧

手机浏览器扫描二维码访问

第3章 山与平地（第2页）

安圭亢奋地听着，后来又出现一脸犹豫的神色。

“你太想当然了吧。”

安圭着急地说。

“我要讲讲我的看法。”

两人说起话来噼里啪啦，节奏很快，快人快语快性子。

“还有一件事。

你没看出来这里镇上人的行为。

非常奇怪。”

他针锋相对地说。

“是的，你没看出来？”

安圭脸上是轻蔑的神情。

他们问两个年轻人：“你们在讨论什么呢？也是研究数学的吗？”

“你们看这个没有想到什么吗？”

安圭问他们。

“没有。”

“最先想到的，是最优化。”

安圭说。

“最优化有几种常见的方法。

1.梯度下降法：梯度下降法是最早最简单的最优化方法。

一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。

梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是最速下降法。

最速下降法越接近目标值，步长越小，前进越慢。

2.牛顿法：牛顿法是一种在实数域和复数域上近似求解方程的方法。

方法使用函数f（x）的泰勒级数的前面几项来寻找方程f（x）=0的根。

牛顿法最大的特点就在于它的收敛速度很快。

3.共轭梯度法：共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储的缺点。

其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。

4.启发式优化方法：启发式方法指人在解决问题时所采取的一种根据经验规则进行发现的方法。

启发式优化方法种类繁多，包括经典的模拟退火方法、遗传算法、蚁群算法以及粒子群算法等等。

5.拉格朗日乘数法：作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有

个变量和k个约束条件的约束优化问题转化为含有（

+k）个变量的无约束优化问题。

拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。”

“那这个羊群到山顶是哪种方法。”

展顾约说。

“启发式优化方法。”