1. 什么是约束优化
约束优化（Constrained Optimization），也称为限制优化，是指在对一组决策变量施加限制条件的前提下，对目标函数进行最大化或最小化的过程。
在实际问题中，我们往往不能无限制地调整变量，而是需要满足某些硬性约束。例如，预算有限、资源有限、物理边界限制等。这类问题广泛存在于工程设计、经济建模、机器学习、物流调度等多个领域。
2. 约束优化问题的构成
一个典型的约束优化问题通常由以下三部分组成：
目标函数（Objective Function）：需要优化的函数，比如最小化成本或最大化收益
等式约束（Equality Constraints）：某些变量必须严格满足的等式条件
不等式约束（Inequality Constraints）：某些变量必须满足的不小于或不大于某值的条件
例如，一个通用的最小化问题可表示为：
$$
\begin{array}{rll}
\mathrm{min} & f(\mathbf{x}) \
\mathrm{s.t.} & g_{i}(\mathbf{x}) = c_{i} & \text{for } i=1,\ldots,n, \text{(等式约束)} \
& h_{j}(\mathbf{x}) \geq d_{j} & \text{for } j=1,\ldots,m, \text{(不等式约束)}
\end{array}
$$
其中：
$\mathbf{x}$ 是决策变量向量
$f(\mathbf{x})$ 是目标函数
$g_i(\mathbf{x})$ 和 $h_j(\mathbf{x})$ 是约束函数
如果目标函数是最大化问题，可以通过取负数转化为最小化问题：
$$
\mathrm{max}, f(\mathbf{x}) \quad \equiv \quad \mathrm{min}, -f(\mathbf{x})
$$
2.1. 极值点的位置
对于非线性函数，极值点可能出现在边界上，也可能出现在内部区域中：
而线性函数的极值点只可能出现在边界上：
3. 约束优化问题的分类
根据目标函数和约束函数的性质，约束优化问题主要分为以下几类：
3.1. 线性规划（Linear Programming, LP）
目标函数和所有约束均为线性函数。例如：
$$
\begin{array}{rl}
\mathrm{min} & x_1 + 2x_2 + 3x_3 \
\mathrm{s.t.} & 3x_1 + x_2 \geq 6 \
& 7x_1 - 2x_2 \geq 1 \
& x_1, x_2 \in \mathbb{R}_+
\end{array}
$$
若所有变量为整数 → 整数线性规划（ILP）
若部分变量为整数 → 混合整数线性规划（MILP）
3.2. 非线性规划（Nonlinear Programming, NLP）
目标函数或部分约束为非线性函数。例如：
$$
\begin{array}{rl}
\mathrm{min} & x_1 + 2x_2 + 3x_3 \
\mathrm{s.t.} & 3x_1x_2 \geq 6 \
& 7x_1 - 2x_2 \geq 1 \
& x_1, x_2 \in \mathbb{R}_+
\end{array}
$$
同样可扩展为 INLP（整数非线性规划）或 MINLP（混合整数非线性规划）。
3.3. 二次规划（Quadratic Programming, QP）
目标函数为二次函数，约束为线性函数。例如：
$$
\begin{array}{rl}
\mathrm{min} & x_1 + 2x_1x_2 + 3x_2x_3 \
\mathrm{s.t.} & 3x_1 + x_2 \geq 6 \
& 7x_1 - 2x_2 \geq 1 \
& x_1, x_2 \in \mathbb{R}_+
\end{array}
$$
也存在 IQP（整数二次规划）和 MIQP（混合整数二次规划）。
4. 实际应用示例
我们来看一个简单的实际问题：在给定周长的前提下，最大化矩形面积。
设矩形的长为 $x$，宽为 $y$，周长为 $p$，则面积为 $A = xy$，周长为 $2(x + y) = p$。
该问题可建模为：
$$
\begin{array}{rl}
\mathrm{max} & A = xy \
\mathrm{s.t.} & 2(x + y) = p
\end{array}
$$
目标函数为二次函数，约束为线性等式，因此这是一个典型的 QP 问题。
5. 求解方法
5.1. 数学方法
方法
优点
缺点
替换法（Substitution）
简单直观，适合等式约束
对非线性或不连续问题效果差
拉格朗日乘子法（Lagrange Multiplier）
可处理复杂等式和不等式约束
不等式需额外处理，仅适用于小规模问题
分支定界法（Branch-and-Bound）
复杂度较低
计算耗时，难以并行
单纯形法（Simplex）
内存效率高、迭代快
不适合大规模问题
内点法（Interior Point）
收敛快，易于并行
不适合需要快速求解的退化问题
KKT 条件（Karush–Kuhn–Tucker）
检查解的最优性
对非凸函数不充分
椭球法（Ellipsoid）
LP 可多项式时间求解
数值不稳定、性能差
⚠️ 注意：这些方法多为精确算法，能保证找到最优解，但计算开销大；若对精度要求不高，可使用启发式算法（如灰狼优化算法）快速求解近似解。
5.2. 替换法示例
以最大化 $f(x,y) = xy$，约束为 $x + y = 2$ 为例：
$$
\text{由约束得 } y = 2 - x \Rightarrow f(x) = x(2 - x) = 2x - x^2
$$
对 $f(x)$ 求导：
$$
f'(x) = 0 \Rightarrow 2 - 2x = 0 \Rightarrow x = 1 \Rightarrow y = 1
$$
最终最大值为 $f(x, y) = 1$
5.3. 优化求解器工具
求解器
支持接口
特点
CPLEX
C++, Java, Python 等
通用性强，支持 LP、ILP、MILP、QP 等
Gurobi
C++, Java, Python 等
高性能，支持多种混合整数问题
lp_solve
Python, MATLAB 等
轻量级，适合 MILP
SCIP
C++, Java, Python 等
开源，适合 MIP
MATLAB Optim. Toolbox
MATLAB
集成好，适合科研
这些工具通常结合了精确算法（如单纯形法）和启发式算法（如分支切割法），以兼顾求解速度和精度。
6. 总结
约束优化是数学建模与工程优化中的核心内容。它涵盖了从线性规划到非线性规划等多种形式，适用于资源分配、调度、设计优化等多个领域。
选择合适的求解方法取决于问题类型、规模和精度要求。对于小规模问题，可使用拉格朗日乘子法或替换法手动求解；对于大规模问题，建议使用 CPLEX、Gurobi 等专业求解器工具。
✅ 建议：掌握基本数学方法，熟悉至少一个优化库（如 Gurobi 或 CPLEX），有助于在实际项目中快速建模求解。⚠️ 注意：非凸问题可能无法找到全局最优解，需结合问题特性判断是否接受局部最优。