从零开始实现大语言模型（七）：多头注意力机制

1. 前言

前文所述神经网络模块CausalAttention也被称为单头注意力模块(single-head attention)。将向量序列 $x_1, x_2, \cdots, x_n$

道可道，非常道；名可名，非常名。无名，天地之始，有名，万物之母。故常无欲，以观其妙，常有欲，以观其徼。此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。