题目
下列哪项不属于梯度下降算法。()A. 批量梯度下降算法B. 随机梯度下降算法C. 小批量梯度下降算法D. 反向传播算法
下列哪项不属于梯度下降算法。()
A. 批量梯度下降算法
B. 随机梯度下降算法
C. 小批量梯度下降算法
D. 反向传播算法
题目解答
答案
D. 反向传播算法
解析
考查要点:本题主要考查对梯度下降算法及其相关概念的理解,需要区分梯度下降算法的不同变体与其他相关技术。
解题核心思路:
梯度下降算法是优化方法,用于最小化损失函数,其核心是通过计算梯度来更新参数。而反向传播算法虽然常与梯度下降一起使用,但它本身是计算梯度的工具,而非优化算法。因此需明确两者的区别。
破题关键点:
- 梯度下降算法的三种主要形式:批量、随机、小批量(均属于)。
- 反向传播算法的作用是计算梯度,而非直接优化参数,因此不属于梯度下降算法。
选项分析
A. 批量梯度下降算法
属于梯度下降算法。
特点:使用全部训练样本计算梯度,更新参数。优点是梯度准确,但计算量大,收敛速度慢。
B. 随机梯度下降算法
属于梯度下降算法。
特点:每次仅使用单个样本计算梯度,更新参数。优点是计算快、收敛快,但梯度有噪声。
C. 小批量梯度下降算法
属于梯度下降算法。
特点:每次使用小批量样本(如32~256个)计算梯度,是A和B的折中方案,兼顾准确性和效率。
D. 反向传播算法
不属于梯度下降算法。
反向传播是计算梯度的方法(通过链式法则),常用于神经网络中。但梯度下降算法负责更新参数,两者分工不同。