题目
Transformer比循环神经网络更适合并行计算[1]。A 对B 错
Transformer比循环神经网络更适合并行计算[1]。 A 对 B 错
题目解答
答案
A
解析
考查要点:本题主要考查对Transformer和循环神经网络(RNN)在并行计算能力上的理解。
核心思路:
- RNN的顺序依赖性:RNN处理序列时需按时间步逐步计算,后一时刻依赖前一时刻的输出,导致并行效率低。
- Transformer的并行特性:通过自注意力机制,Transformer可同时处理序列中所有位置,天然支持高效并行计算。
破题关键:
明确两种模型的计算方式差异,抓住自注意力机制和顺序处理依赖这两个核心概念。
RNN的局限性:
RNN的计算顺序严格依赖时间步,例如处理句子时需逐词计算。这种串行特性使得并行计算受限,尤其在长序列任务中效率低下。
Transformer的优势:
- 自注意力机制:允许模型在单个时间步内同时关注整个序列,无需等待前一步结果。
- 位置独立性:所有位置的特征计算可并行完成,仅通过注意力权重体现依赖关系。
- 硬件加速友好:GPU/TPU的并行计算能力在Transformer中得到充分发挥,显著提升速度。
结论:
Transformer的结构设计使其天然适合并行计算,而RNN的顺序特性限制了并行效率,因此题目表述正确。