Transformer 中的各向异性表示动态

arXiv 论文提出混合门控的各向异性表示动态理论，将自注意力拆分为值传输、查询门控和键门控。该理论形式化门控诱导的机制切换，并给出判定表示差异收缩或扩张的充要谱判据。在四种 Transformer 架构上的实验验证了查询—键门控机制与切换子空间等预测。

标题与摘要由 AI 辅助生成，事实与观点以原文为准。