先拆掉框图一条可复算的向量流水线
很多人把Transformer的Encoder/Decoder结构图背得滚瓜烂熟,被问"输入怎么一步步变成下一个词"时还是卡壳。原因很直接:那张图只标了零件名,没标零件之间的因果账。换个看法——它从头到尾就是一条向量流水线,每个零件只做张量变换,不做任何玄学理解。
坐标系只有一条主线。输入文本先切成token,查嵌入表变成向量,每个向量叠加上位置编码,送进Encoder。Encoder内部每层干三件事:自注意力让序列里每个token互相打分,前馈网络逐token做非线性变换,残差加LayerNorm把分布收住。
Decoder几乎一样,只是多了两个注意力模块——一个看自己已经生成的词,一个隔着mask去看Encoder的输出。最后过一个线性层加softmax,吐出下一个token的概率分布。注意这里没有任何一步在"理解"。嵌入是查表,注意力是矩阵乘,softmax是归一化。
整条流水线里每一个数字都可以手算复核,这才叫可复算。
记不住零件名没关系,记住张量从哪来、到哪去,框图自己会长出来。这也是它和RNN的本质分野。RNN必须一个词一个词地过隐藏状态,第t步依赖第t-1步的输出,天然串行。Transformer把整句摊成矩阵一次算完,换来了GPU上近乎无限的并行度——代价我们马上会看到。
自注意力的硬账三组向量与那个除以√d_k
自注意力最常被讲成"模型关注相关词",听上去像认知科学。工程上它朴素得多:每个token的向量乘三组可学习矩阵,分别变成Query、Key、Value。Query是"我在找什么",Key是"我这里有什么标签",Value是"真的被取走的内容"。
用Q去点乘所有K,得到一排匹配分数,softmax变成权重,再对V加权求和。每个词的新表示,就是全句其他词内容的加权平均。Q和K为什么必须分开?因为如果只有一组向量,每个token只能拿自己查自己,学到的匹配永远是对称的镜像。
分成提问方和应答方,两组矩阵可以各自学各自的倾向——主语倾向于找动词,代词倾向于找先行名词——不对称才装得下语法。真正的硬账在缩放。
点积的方差随维度线性上涨:两个d维随机向量做点积,方差大约是d。维度取64,分数的波动就已经大到少数token吸走几乎全部softmax权重,输出近似one-hot,梯度尖得像悬崖,训练在深一点的地方直接不稳。
除以√d_k没有别的用途,就是把logits拉回softmax舒服的学习区间。这不是锦上添花,是补丁中的补丁。原始论文给出这个修正后,注意力才从"小维度能跑"变成"大维度敢跑"。多头注意力也别想复杂了。把一个d维向量切成h份,每份各自跑一遍刚才那套Q/K/V打分,再把结果拼回去。
每个头在不同子空间匹配不同模式——有的盯句法距离,有的盯语义相似。多头不是复制了h个小模型,是把一次大匹配拆成h次小匹配,既加了容量,又让每个头学得动。
mask与位置编码两处补丁,一个先天缺陷
Transformer有个不太体面的秘密:它对词序天然失明。自注意力的打分只看向量内容,不看位置。把"猫追狗"三个词随便调换顺序,所有Q·K点积的集合一个不变——注意力机制本身排列不变。这是它并行的来源,也是它必须打补丁的原因。
第一处补丁是因果mask。Decoder训练时整句话一起进模型,但第t个位置算注意力时,必须把第t位及以后的分数置成负无穷,softmax之后权重恰好为零。这样每个位置都只看见过去。神奇之处在于:训练整句并行算损失,推理时一个词一个词往外蹦,两种模式由同一张mask矩阵同时兼容——训练时一次性模拟了推理时的所有时间步。
删掉这张mask,模型生成的每个词都偷看了答案,训练分数虚高,上线立刻露馅。第二处补丁是位置编码。既然机制自己分不清先后,就在进模型之前把顺序信息编进向量。原始设计用不同频率的正弦曲线,第i维的周期各不相同,任何相对位置差都能被线性表示;后来的实践里学习式编码、相对位置编码各自接过这一棒。
形式可以换,职能不变:给句法和指代提供承载顺序的那根轴。看清楚,这两处都不是装饰,是能力边界。mask定义了模型能用什么信息,位置编码定义了它能感知什么结构。换到只有Encoder的BERT,mask换成双向的;换到纯自回归的GPT,Encoder整个砍掉——框架名解释不了这些差异,只有张量流和这两张补丁解释得了。
深度、残差与审图清单
为什么Transformer敢叠几十层?三个零件各管一段路。残差连接把每层的输入直接加到输出上,梯度可以顺着这条"高速公路"无损传回底层,不用每层都重新扛一遍原始信息;LayerNorm把每层的输出分布重新归一化,几十层连乘下来数值不会飘走;前馈网络则在每个token内部做一次宽通道的非线性变换,提供注意力做不了的精细加工。
抽掉残差,深层训练明显变脆——这是优化路径问题,不是零件数量问题。最后留一份审图清单。四问过三问,这张图就值得收藏;四问全答不上来,图再漂亮也是海报。机制只有一条流水线,补丁只有两处,检查点只有四个。剩下那些花名,都是这三件事的别名。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……



