非线性规划(NP)涉及最小化或最大化受约束的非线性目标函数，线性约束或非线性约束，其中约束可以是不等式或等式。工程中的例子问题包括分析设计折衷，选择最优设计，计算最优轨迹，以及投资组合优化以及计算金融学中的模型校准。
无约束非线性规划是寻找一个向量\（x\）的数学问题，该向量是非线性标量函数\（f（x）\）的局部最小值。无约束意味着对\（x\）的范围没有限制
\[\min\u x f（x）\]
以下算法通常用于无约束非线性规划：
- 拟牛顿：使用混合二次和三次线搜索程序以及Broyden-Fletcher-Goldfarb-Shanno（BFGS）公式更新Hessian矩阵的近似值
- 内尔德·米德：使用直接搜索算法，只使用函数值(不需要导数)，并处理非光滑的目标函数
- 信任区域：用于无约束非线性优化问题，尤其适用于可利用稀疏性或结构的大规模问题
约束非线性规划是寻找一个向量\（x\）的数学问题，该向量最小化受一个或多个约束的非线性函数\（f（x）\）。
求解约束非线性规划问题的算法包括：
- 内点：特别适用于具有稀疏性或结构的大规模非线性优化问题
- 序列二次规划（SQP）：解决一般非线性问题，并在所有迭代中遵守边界
- 信任区域：仅解决有界约束非线性优化问题或线性等式
