深入 Transformer 注意力机制：给前端的白话解读

Transformer 是现代大模型的基石，而它的核心是「注意力机制」。本文尝试用前端工程师熟悉的类比，讲清楚这个看似神秘的机制。

先建立直觉

想象你在读一段代码。为了理解某一行，你会「关注」它引用的变量定义、相关的函数、以及上下文中的关键信息。这种「根据相关性有选择地关注」的能力，就是注意力的本质。

注意力机制在做什么

对序列中的每个词，注意力机制计算它与其他所有词的「相关程度」，然后按相关度加权汇总其他词的信息。

用代码类比，它像是一个「动态的加权平均」：

function attention(query, keys, values) {
  // 计算 query 与每个 key 的相关度
  const scores = keys.map((k) => dot(query, k));
  const weights = softmax(scores); // 归一化为概率
  // 按权重汇总 values
  return weightedSum(weights, values);
}

核心三步：算相关度 → 归一化 → 加权求和。

三个关键概念

1. Query / Key / Value：可以类比为「查询条件 / 索引键 / 内容」。通过 Q 与 K 的匹配，决定从 V 中取多少信息；
2. Softmax：把相关度分数转成和为 1 的权重，本质是「选择性聚焦」；
3. 多头注意力（Multi-head）：用多组 Q/K/V 并行捕捉不同类型的关系，类似「从多个视角同时理解」。

为什么它强大

注意力机制让模型能捕捉任意距离的依赖关系——无论两个词相隔多远，都能直接建立联系。这与早期循环神经网络「信息逐字传递、容易遗忘」相比，是质的飞跃。

结语

剥离数学细节，注意力机制并不神秘：它就是「有选择地关注相关信息」的算法化表达。理解了这一点，你就抓住了现代大模型最核心的一把钥匙。