回顾
2017 年，Google 团队发表了 "Attention Is All You Need"，提出了 Transformer 架构。这篇论文彻底改变了 NLP 领域的技术路线。
已成现实的预言
1. 序列建模的并行化
Transformer 最大的贡献是用自注意力机制替代了 RNN 的顺序处理，实现了训练过程的完全并行化。
2. 长距离依赖建模
自注意力机制天然支持任意距离的 token 交互，解决了 RNN 的长距离依赖难题。
3. 跨领域通用架构
论文中可能没有预料到的是，Transformer 不仅统治了 NLP，还扩展到了视觉、语音、蛋白质结构预测等领域。
当前挑战
计算复杂度
自注意力的 O(n²) 复杂度在处理超长序列时成为瓶颈。
位置编码
原始的位置编码方案在超长上下文场景中表现不佳，RoPE 等改进方案正在被广泛采用。
未来方向
线性注意力、状态空间模型（如 Mamba）等新架构正在挑战 Transformer 的统治地位，但目前来看，Transformer 仍是最稳健的选择。