最优化是指由变量x构成的目标函数f(x)进行最小化或最大化的过程。在机器学习或深度学习术语中，通常指最小化损失函数J(w)，其中模型参数w∈R^d。最小化最优化算法具有以下的目标：-如果目标函数是凸的...

在神经网络中，系统的学习过程一般是由训练算法所主导。而现如今有许多不同的学习算法，它们每一个都有不同的特征和表现。因此本文力图描述清楚五大学习算法的基本概念及优缺点，给读者们阐明最优化在神经网络中的应...