非线性规划(NP)涉及最小化或最大化受约束的非线性目标函数，线性约束或非线性约束，其中约束可以是不等式或等式。工程中的例子问题包括分析设计折衷，选择最优设计，计算最优轨迹，以及投资组合优化以及计算金融学中的模型校准。
无约束非线性规划是求非线性标量函数(f(x)\)的局部最小向量(x)的数学问题。不受约束的意思是对\(x\)的范围没有限制
\ [\ min_x f (x) \]
无约束非线性规划常用的算法有:
- 拟牛顿:使用二次和三次混合线搜索程序和Broyden-Fletcher-Goldfarb-Shanno (BFGS)公式来更新Hessian矩阵的逼近
- Nelder-Mead:使用直接搜索算法，只使用函数值(不需要导数)，并处理非光滑的目标函数
- 信赖域:用于无约束非线性优化问题，尤其适用于可利用稀疏性或结构的大规模问题
约束非线性规划的数学问题是寻找一个向量\(x\)，使受一个或多个约束的非线性函数\(f(x)\)最小化。
求解约束非线性规划问题的算法包括:
- 内点:对于具有稀疏性或结构的大规模非线性优化问题特别有用吗
- 顺序二次规划(SQP)解决一般的非线性问题，并在所有迭代中保证有界
- 信赖域反射:仅解有界约束的非线性优化问题或线性等式
