大语言模型的基石：Transformer 入坑笔记（三） - 注意力机制和 Transformer

II'm OWenT owent.net 2026/06/28

背景 接上文 《大语言模型的基石：Transformer 入坑笔记（二） - 基本原理和 Word Embeddings》 ，继续我们的 Attention Is All You Need / Transformer 学习之旅。 首先简单了解下传统的方案。 卷积神经网络（CNN） 卷积神经网络（CNN）似乎更适合静态数据（比如图片处理、提取特征等）。 所谓静态数据，是指每个数据组都单独和目标矩阵运…