Attention Is All You Need
论文简介
本文提出了 Transformer 架构，这是一种全新的序列转换模型，完全基于注意力机制，摒弃了传统的循环和卷积结构。 Transformer 通过多头自注意力机制（Multi-Head Self-Attention）和位置编码（Positional Encoding）， 在机器翻译任务上取得了当时最优的性能，同时大幅提升了训练效率。
这篇论文是现代 NLP 的里程碑之作，GPT、BERT、T5 等后续所有大语言模型都建立在 Transformer 架构之上。
核心创新
1. 自注意力机制（Self-Attention）
传统的 RNN 模型需要按顺序处理序列，无法并行化。Transformer 的自注意力机制允许模型同时关注序列中的所有位置，
大幅提升了并行计算能力。
2. 多头注意力（Multi-Head Attention）
通过多个注意力头并行计算，模型可以同时关注不同位置和不同语义层面的信息，
增强了模型的表达能力。
3. 位置编码（Positional Encoding）
由于 Transformer 没有循环结构，需要通过位置编码来注入序列的位置信息。
论文使用了正弦和余弦函数来生成位置编码。
4. 编码器-解码器架构
Transformer 采用编码器-解码器结构，编码器负责理解输入序列，
解码器负责生成输出序列，两者通过注意力机制进行交互。
实验结果
在 WMT 2014 英德翻译任务上，Transformer 达到了 28.4 BLEU，超越了当时所有的循环和卷积模型。 在 WMT 2014 英法翻译任务上，达到了 41.0 BLEU 的单模型最优性能。
训练效率方面，Transformer 在 8 个 P100 GPU 上训练 3.5 天即可达到最优性能， 远快于之前的模型。
影响与意义
Transformer 架构彻底改变了深度学习的格局：
• NLP 领域: GPT、BERT、T5、LLaMA 等所有大语言模型都基于 Transformer
• 计算机视觉: ViT、Swin Transformer 等将 Transformer 应用于图像领域
• 多模态: CLIP、GPT-4V 等多模态模型使用 Transformer 融合不同模态信息
• 生成模型: DALL-E、Stable Diffusion 等图像生成模型也采用 Transformer 架构