动态规划是数学规划的一种，同样可用于控制变量受限制的情况，是一种很适合于在计算机上进行计算的比较有效的方法。

最优控制理论已被应用于最省燃料控制系统、最小能耗控制系统、线性调节器等。

最优控制的实现离不开最优化技术，最优化技术是研究和解决最优化问题的一门学科，它研究和解决如何从一切可能的方案中寻找最优的方案。也就是说，最优化技术是研究和解决如何将最优化问题表示为数学模型以及如何根据数学模型尽快求出其最优解这两大问题。一般而言，用最优化方法解决实际工程问题可分为三步进行：

①根据所提出的最优化问题，建立最优化问题的数学模型，确定变量，列出约束条件和目标函数；

②对所建立的数学模型进行具体分析和研究，选择合适的最优化方法；

③根据最优化方法的算法列出程序框图和编写程序，用计算机求出最优解，并对算法的收敛性、通用性、简便性、计算效率及误差等作出评价。

所谓最优化问题，就是寻找一个最优控制方案或最优控制规律，使系统能最优地达到预期的目标。在最优化问题的数学模型建立后，主要问题是如何通过不同的求解方法解决寻优问题。一般而言，最优化方式有离线静态优化方式和在线动态优化方式，而最优化问题的求解方法大致可分为四类：

1.解析法

对于目标函数及约束条件具有简单而明确的数学表达式的最优化问题，通常可采用解析法来解决。其求解方法是先按照函数极值的必要条件，用数学分析方法求出其解析解，然后按照充分条件或问题的实际物理意义间接地确定最优解。

这种方法适用于性能指标及约束有明显解析表达式的情况。其一般步是先用求导方法或变分法求出最优控制的必要条件，得到一组方程或不等式，然后求解这组方程或不等式，得到最优控制的解析解即为所求的最优控制。解析法大致可分为两大类。第一类，无约束时，采用微分法或变分法。第二类，有约束时，采用极大值原理或动态规划。

（1）变分法：当控制向量不受约束时，引入哈密顿函数，应用变分法可以导出最优控制的必要条件，即正则方程、控制方程、边界条件、横截条件。

（2）极大值原理：在用变分法求解最优控制问题时，是假定控制向量u(O)不受任何限制，即容许控制集合可以看成是整个P维控制空间开集，控制变分u是任意的，同时还要求哈密顿出数H对u连续可微，但在实际工程上，控制变量往往受到一定的限制，这时可以用极大值原理来求解最优控制问题，这种方法其实是由变分法引申而来的，但由于它能应用于控制变量u(t)受边界限制的情况，并且不要求哈密顿出数H对u连续可微，因此获得了广泛的应用。

（3）动态规划：极大值原理一样，是处理控制向量限制在一定闭集内的最优控制问题的有效数学方法，它把复杂的最优控制间题变为多级决策过程的递推函数关系，其基础和核心时最优性原理即在一个多级决策问题中无论初始状态和初始决策如何，当把其中的任何一级和状态再作为初始级和初始状态时，如下的决定对与这一级开始往后的多级决策过程的一部分必定仍然是一个最优决策。因此，利用这一最优性原理必然可把一个多级决策问题化为最优的单级决策问题并且本级决策与本级以前的任何决策无关，只与本级的初始位置和初始决策有关。对于连续系统用动态规划法求最优控制问题时，可以先把连续系统离散化，用有限差分方程近似代替连续方程，然后用离散动态规划法求解。

2.数值解法（直接法）

对于目标函数较为复杂或无明确的数学表达式或无法用解析法求解的最优化问题，通常可采用直接法来解决。直接法的基本思想，就是用直接搜索方法经过一系列的迭代以产生点的序列，使之逐步接近到最优点。直接法常常是根据经验或实验而得到的。

性能指标比较复杂或不能用变量显函数表示时，可以采用直接搜索法，经过若干次迭代搜索到最优点，数值计算法可以分为两大类：

（1）区间消去法，又称为一维搜索法，适用于求解单变量极值问题。主要有黄金分割法、多项式插值法等。

（2）爬山法，又称多维搜索法，适用于求解多变量极值问题。主要有坐标轮转法、步长加速法等。

3.解析与数值相结合的寻优方法（梯度型法）

是一种解析与数值计算相结合的方法。主要包括两大类：一种是无约束梯度法，如陡降法、拟牛顿法等。第二类是有约束梯度法，如可行方向法、梯度投影法。

4.网络最优化方法

这种方法以网络图作为数学模型，用图论方法进行搜索的寻优方法。

基于对象数学模型的离线优化方法是一种理想化方法。这是因为尽管工业过程（对象）被设计得按一定的正常工况连续运行，但是环境的变动、触媒和设备的老化以及原料成分的变动等因素形成了对工业过程的扰动，因此原来设计的工况条件就不是最优的。

解决此类问题的常见方法。

(1)局部参数最优化和整体最优化设计方法

局部参数最优化方法的基本思想是：按照参考模型和被控过程输出之差来调整控制器可调参数，使输出误差平方的积分达到最小。这样可使被控过程和参考模型尽快地精确一致。

此外，静态最优与动态最优相结合，可变局部最优为整体最优。整体最优由总体目标函数体现。整体最优由两部分组成：一种是静态最优（或离线最优），它的目标函数在一段时间或一定范围内是不变的；另一种是动态最优（或在线最优），它是指整个工业过程的最优化。工业过程是一个动态过程，要让一个系统始终处于最优化状态，必须随时排除各种干扰，协调好各局部优化参数或各现场控制器，从而达到整个系统最优。

(2)预测控制中的滚动优化算法

预测控制，又称基于模型的控制（Model-based Control），是70年代后期兴起的一种新型优化控制算法。但它与通常的离散最优控制算法不同，不是采用一个不变的全局优化目标，而是采用滚动式的有限时域优化策略。这意味着优化过程不是一次离线进行，而是反复在线进行的。这种有限化目标的局部性使其在理想情况下只能得到全局的次优解，但其滚动实施，却能顾及由于模型失配、时变、干扰等引起的不确定性，及时进行弥补，始终把新的优化建立在实际的基础之上，使控制保持实际上的最优。这种启发式的滚动优化策略，兼顾了对未来充分长时间内的理想优化和实际存在的不确定性的影响。在复杂的工业环境中，这比建立在理想条件下的最优控制更加实际有效。

预测控制的优化模式具有鲜明的特点：它的离散形式的有限优化目标及滚动推进的实施过程，使得在控制的全过程中实现动态优化，而在控制的每一步实现静态参数优化。用这种思路，可以处理更复杂的情况，例如有约束、多目标、非线性乃至非参数等。吸取规划中的分层思想，还可把目标按其重要性及类型分层，实施不同层次的优化。显然，可把大系统控制中分层决策的思想和人工智能方法引入预测控制，形成多层智能预测控制的模式。这种多层智能预测控制方法的，将克服单一模型的预测控制算法的不足，是当前研究的重要方向之一。

(3)稳态递阶控制

对复杂的大工业过程（对象）的控制常采用集散控制模式。这时计算机在线稳态优化常采用递阶控制结构。这种结构既有控制层又有优化层，而优化层是一个两级结构，由局部决策单元级和协调器组成。其优化进程是：各决策单元并行响应子过程优化，由上一级决策单元（协调器）协调各优化进程，各决策单元和协调器通过相互迭代找到最优解。这里必须提到波兰学者Findeisen等所作出的重要贡献。

由于工业过程较精确的数学模型不易求得，而且工业过程（对象）往往呈非线性及慢时变性，因此波兰学者Findesien提出：优化算法中采用模型求得的解是开环优化解。在大工业过程在线稳态控制的设计阶段，开环解可以用来决定最优工作点。但在实际使用上，这个解未必能使工业过程处于最优工况，相反还会违反约束。他们提出的全新思想是：从实际过程提取关联变量的稳态信息，并反馈至上一层协调器（全局反馈）或局部决策单元（局部反馈），并用它修正基于模型求出的的最优解，使之接近真实最优解。

(4)系统优化和参数估计的集成研究方法

稳态递阶控制的难点是，实际过程的输入输出特性是未知的。波兰学者提出的反馈校正机制，得到的只能是一个次优解。但其主要缺点在于一般很难准确估计次优解偏离最优解的程度，而且次优解的次优程度往往依赖于初始点的选取。一个自然的想法是将优化和参数估计分开处理并交替进行，直到迭代收敛到一个解。这样计算机的在线优化控制就包括两部分任务：在粗模型（粗模型通常是能够得到的）基础上的优化和设定点下的修正模型。这种方法称为系统优化和参数估计的集成研究方法。 (Integrated System Optimizationand Parameter Estimation)

对于越来越多的复杂控制对象，一方面，人们所要求的控制性能不再单纯的局限于一两个指标；另一方面，上述各种优化方法，都是基于优化问题具有精确的数学模型基础之上的。但是许多实际工程问题是很难或不可能得到其精确的数学模型的。这就限制了上述经典优化方法的实际应用。随着模糊理论、神经网络等智能技术和计算机技术的发展。

智能式的优化方法得到了重视和发展。

(1)神经网络优化方法

人工神经网络的研究起源于1943年和Mc Culloch和Pitts的工作。在优化方面，1982年Hopfield首先引入Lyapuov能量函数用于判断网络的稳定性，提出了Hopfield单层离散模型；Hopfield和Tank又发展了Hopfield单层连续模型。1986年，Hopfield和Tank将电子电路与Hopfield模型直接对应，实现了硬件模拟；Kennedy和Chua基于非线性电路理论提出了模拟电路模型，并使用系统微分方程的Lyapuov函数研究了电子电路的稳定性。这些工作都有力地促进了对神经网络优化方法的研究。

根据神经网络理论，神经网络能量函数的极小点对应于系统的稳定平衡点，这样能量函数极小点的求解就转换为求解系统的稳定平衡点。随着时间的演化，网络的运动轨道在空间中总是朝着能量函数减小的方向运动，最终到达系统的平衡点——即能量函数的极小点。因此如果把神经网络动力系统的稳定吸引子考虑为适当的能量函数（或增广能量函数）的极小点，优化计算就从一初始点随着系统流到达某一极小点。如果将全局优化的概念用于控制系统，则控制系统的目标函数最终将达到希望的最小点。这就是神经优化计算的基本原理。

与一般的数学规划一样，神经网络方法也存在着重分析次数较多的弱点，如何与结构的近似重分析等结构优化技术结合，减少迭代次数是今后进一步研究的方向之一。

由于Hopfield模型能同时适用于离散问题和连续问题，因此可望有效地解决控制工程中普遍存在的混合离散变量非线性优化问题。

(2)遗传算法

遗传算法和遗传规划是一种新兴的搜索寻优技术。它仿效生物的进化和遗传，根据“优胜劣汰”原则，使所要求解决的问题从初始解逐步地逼近最优解。在许多情况下，遗传算法明显优于传统的优化方法。该算法允许所求解的问题是非线性的和不连续的，并能从整个可行解空间寻找全局最优解和次优解，避免只得到局部最优解。这样可以为我们提供更多有用的参考信息，以便更好地进行系统控制。同时其搜索最优解的过程是有指导性的，避免了一般优化算法的维数灾难问题。遗传算法的这些优点随着计算机技术的发展，在控制领域中将发挥越来越大的作用。

研究表明，遗传算法是一种具有很大潜力的结构优化方法。它用于解决非线性结构优化、动力结构优化、形状优化、拓扑优化等复杂优化问题，具有较大的优势。

(3)模糊优化方法

最优化问题一直是模糊理论应用最为广泛的领域之一。

自从Bellman和Zadeh在 70年代初期对这一研究作出开创性工作以来，其主要研究集中在一般意义下的理论研究、模糊线性规划、多目标模糊规划、以及模糊规划理论在随机规划及许多实际问题中的应用。主要的研究方法是利用模糊集的a截集或确定模糊集的隶属函数将模糊规划问题转化为经典的规划问题来解决。

模糊优化方法与普通优化方法的要求相同，仍然是寻求一个控制方案（即一组设计变量），满足给定的约束条件，并使目标函数为最优值，区别仅在于其中包含有模糊因素。普通优化可以归结为求解一个普通数学规划问题，模糊规划则可归结为求解一个模糊数学规划(fuzzymathematicalprogramming)问题。包含控制变量、目标函数和约束条件，但其中控制变量、目标函数和约束条件可能都是模糊的，也可能某一方面是模糊的而其它方面是清晰的。例如模糊约束的优化设计问题中模糊因素是包含在约束条件（如几何约束、性能约束和人文约束等）中的。求解模糊数学规划问题的基本思想是把模糊优化转化为非模糊优化即普通优化问题。方法可分为两类：一类是给出模糊解（fuzzysolution）；另一类是给出一个特定的清晰解（crispsolution）。必须指出，上述解法都是对于模糊线性规划（fuzzylinearprogramming）提出的。然而大多数实际工程问题是由非线形模糊规划（fuzzynonlinearprogramming）加以描述的。于是有人提出了水平截集法、限界搜索法和最大水平法等，并取得了一些可喜的成果。

在控制领域中，模糊控制与自学习算法、模糊控制与遗传算法相融合，通过改进学习算法、遗传算法，按给定优化性能指标，对被控对象进行逐步寻优学习，从而能够有效地确定模糊控制器的结构和参数。

随着现代控制理论及其实际应用的不断发展，运用现代控制理论进行电力系统运行性能的最优化控制的研究工作有了迅速的发展，对如何按最优化的方法设计多参量的励磁调节器也取得了很大进展。

（1）基于非线性最优和PID技术的综合励磁调节器

对于非线性系统的同步发电机而言，当它偏离系统工作点或系统发生较大扰动时，如果仍然采用基于PID技术的电力系统稳定器，就会出现误差。为此，可以将其用基于非线性最优控制技术的励磁调节器。但是，非线性最优控制调节器存在着对电压控制能力较弱的缺点，所以用一种能够将非线性最优励磁调节器和PID技术的电力系统稳定器有机结合的新型励磁调节器的设计原理。

此综合励磁调节器是利用非线性最优控制理论的研究成果，其在非线性的励磁控制中采用了精确线性化的数学方法，不存在平衡点线性化后的舍入误差，因此该控制的数学模型在理论上对发电机的所有运行点都是精确的；同时针对非线性的励磁控制调压能力较弱的特点，又增加了PID环节，使其具有较强的电压调节特性此装置在小机组试验中取得非常好的实验效果，在平衡点附近运行和偏离平衡点较多时都具有很好的调节特性。

（2）自适应最优励磁控制器

将自适应控制理论与最优控制理论相结合，通过多变量参数辨识、最优反馈系数计算和控制算法运算三个环节，可以实现同步发电机励磁的自适应最优控制。

此发电机自适应最优励磁方案，通过采用由带可变遗忘因子的最小二乘算法构成的多变量实时辨识器，使系统状态方程的系数矩阵A和B中的元素值随系统运行工况的变化而变化，再经过最优反馈系数计算，实现了同步电机的自适应最优励磁控制。

虽然使用线性最优控制理论求取反馈系数，但由于状态方程的系数矩阵中的元素值随系统运行工况的变化而变化，因而控制作用体现了电力系统的非线性特性，本质上是一种非线性控制。

数字仿真试验结果表明，该励磁控制系统能够自动跟踪系统运行工作状况，在线辨识不断变化的系统参数，使控制作用始终处于最优状态。从而改善了控制系统的动态品质，可以提高电力系统运行的稳定性。

（3）基于神经网络逆系统方法的非线性励磁控制

神经网络逆系统方法将神经网络对非线性函数逼近学习能力和逆系统方法的线性化能力相结合，构造出物理可实现的神经网络逆系统，从而实现了对被控系统的大范围线性化，能够在无需系统参数的情况下构造出伪线性复合系统，从而将非线性系统的控制问题转化为线性系的控制问题。

在大干扰情况下，神经网络逆系统方法的控制器暂态时间很短，超调量很小，有效地改善了系统的暂态响应品质，提高了电力系统的稳定性，此控制器还具有很好的鲁棒性能。另外，神经网络逆系统方法无需知道原系统的数学模型以及参数，，也不需要测量被控系统的状态量，仅需要知道被控系统可逆及输入输出微分方程的阶数，且结构简单，易于工程实现。

（4）基于灰色预测控制算法的最优励磁控制

预测控制是一种计算机算法，它采用多步预测的方式增加了反映过程未来变化趋势的信息量，因而能克服不确定性因素和复杂变化的影响。灰色预测控制是预测控制的一个分支，它需建立灰微分方程，能较好地对系统作全面的分析。应用GM(1，N)对发电机的功率偏差、转速偏差、电压偏差序列值进行建模，经全面分析后求出各状态量的预测值，同时根据最优控制理论求出以预测值为状态变量的被控励磁控制系统的最优反馈增益，从而得出具有预测信息的最优励磁控制量。

灰色预测控制理论中灰色建模和“超前控制”的思想较好地弥补了线性最优控制理论中精确线性化和“事后控制”对单机无穷大系统的仿真结果表明，此励磁控制具有响应速度快、准确度高的特点，使电力系统在大小扰动下均能表现出较好的动态特性。

目前研究最优控制理论最活跃的领域有神经网络优化、模拟退火算法、趋化性算法、遗传算法、鲁棒控制、预测控制、混沌优化控制以及稳态递阶控制等。

（1）Hopfield 神经网络优化

人工神经网络设计一般基于专家的经验和实践。应用最广泛的是误差反向传播神经网络，简称BP网络，是一种具有3层或3层以上的阶层型神经网络。根据神经网络理论，网络总是朝着能量函数递减的方向运动，并最后到达系统的平衡点。也就是说:Hopfield能量函数的极小点就是系统稳定的平衡点，只要得到系统的平衡点即得到能量函数的极小点。如果把全局优化理论运用到控制系统中，则控制系统的目标函数最终到达的正是所希望的最小点。

（2）模拟退火算法

1983年，Kirkpatrick与其合作者提出了模拟退火(SA)的方法，它是求解单目标多变量最优化问题的一项Monte-Caula技术。该法是一种物理过程的人工模拟，它基于液体结晶或金属的退火过程。液体和金属物体在加热至一定温度后，它们所有的分子、原子在状态空间D中自由运动。随着温度的下降，这些分子、原子逐渐停留在不同的状态。当温度降到相当低时，这些分子、原子则重新以一定的结构排列，形成了一个全部由有序排列的原子构成的晶体结构。模拟退火法已广泛应用于生产调度、神经网络训练、图像处理等方面。

（3）趋化性算法

趋化性算法(CA)是模拟细菌生长过程中的趋光性原理而提出的一种随机优化方法。它的特点是结构简单、使用方便。在搜索过程中，CA只向使解的性能变好的方向搜索，能否跳出局部极小点依赖于方差的大小，其全局搜索能力比模拟退火方法和遗传算法差，但局部搜索能力较强，收敛速度较快。

（4）遗传算法

遗传算法(GA)是一种模拟自然选择和遗传的随机搜索算法，是模拟自然界中按“优胜劣汰”法则进行进化过程的一种高度并行、随机和自适应的优化算法。它将问题的求解表示成“染色体”的适者生存过程，通过“染色体”群的一代代不断进化，包括复制、交叉和变异等操作，最终收敛于“最适应环境”的个体，从而求得问题的最优解或满意解。GA是一种通用的优化算法，其编码技术和遗传操作比较简单，优化不受限制型条件的约束，而其2个最显著特点则是隐含并行性和全局解空间搜索。随着计算机技术的发展，GA愈来愈得到人们的重视，并在机器学习、模式识别、图像处理、神经网络、优化控制、组合优化、VLSI设计、遗传学等领域得到了成功应用。

（5）鲁棒控制

鲁棒控制是针对不确定性系统的控制系统的设计方法，其理论主要研究的问题是不确定性系统的描述方法、鲁棒控制系统的分析和设计方法以及鲁棒控制理论的应用领域。鲁棒控制理论发展的最突出的标志之一是H∞控制。H∞控制从本质上可以说是频域内的最优控制理论。鲁棒控制与最优控制结合解决许多如线性二次型控制、电机调速、跟踪控制、采样控制、离散系统的镇定、扰动抑制等实际问题。

（6）预测控制

预测控制又称为基于模型的控制，是一类新型计算机优化控制算法，其本质特征是预测模型，滚动优化和反馈校正。滚动优化反复在线进行，不同时刻优化性能指标的时间区域及绝对形式均不同。这种滚动优化能对系统因多种因素而引起的不确定性进行及时弥补，始终把新的优化建立在实际的基础之上，使控制系统保持实际上的最优。

（7）混沌优化控制

混沌是一种普遍的非线性现象，是指在确定性非线性系统中不需附加任何随机因素亦可出现类似随机的行为，但存在精致的内在规律性。混沌运动具有随机性、遍历性、规律性等特点。混沌运动的基本特征是运动轨道的不稳定性，表现为对初值的敏感依赖性或对小扰动的极端敏感性。混沌运动在一定的范围内按其自身的规律不重复地遍历所有状态，这种遍历性可被用来进行优化搜索且能避免陷入局部极小。因此，混沌优化技术已成为一种新兴的搜索优化技术。

（8）稳态递阶控制

递阶控制是一种计算机在线稳态优化的控制结构，其指导思想是将一大系统分解为若干个互相关联的子系统，即把大系统的最优控制问题分解为各子系统的问题。在各个子系统之上设置一协调器，判断所得的子系统求解子问题结果是否适合整个大系统的最优控制，若否，则指示各子系统修改子问题并重新计算。通过协调器的相互迭代求解即可得到最优解。

最优控制理论在管理科学方面的应用已取得了很多极有价值的应用成果。其中代表性的是美国学者S.P.塞申和G.L.汤普生所著的《最优化管理》一书。书中概述了最优控制理论在金融中的最优投资、生产与库存、推销、机器设备的保养与更换等问题的应用;在经济方面的应用主要是根据宏观经济相互依赖关系的计量经济模型提供经济预测，解释经济问题的动态行为。朱道立编著的《大系统优化理论与应用》中运用最优控制理论建立经济模型，用GRG算法来解释经济问题，形成经济学科中的经济最优控制。许多专家在研究动态最优稳定性经济政策中也论证了最优控制在经济方面的突出作用。在自然资源和人口方面可以应用最优控制理论来分配不可再生资源和可再生资源。此外，最优控制在人才分配方面的应用也有研究报道。