nn.TransformerEncoderLayer 是 PyTorch 中 Transformer 模型的基本组成部分之一，它用于处理序列数据，通常是用来编码输入的序列特征。在 Transformer 中，编码器由多个这样的层堆叠而成。
每个 TransformerEncoderLayer 由两部分组成：
- 多头自注意力机制（Multi-head Self-Attention）：它使得输入序列的每个元素能够关注序列中的其他元素，从而提取重要的上下文信息。
- 前馈神经网络（Feed-Forward Neural Network）：用于进一步处理每个序列元素的特征信息。它是逐元素进行的，不同序列位置上的特征不会相互影响。
1. nn.TransformerEncoderLayer 参数介绍
class torch.nn.TransformerEncoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation='relu')
- d_model：输入和输出张量的特征维度（embedding size），即输入序列中每个位置的向量长度。
- nhead：多头自注意力机制中的注意力头数。通过使用多头注意力，模型可以从不同的“角度”来捕捉序列的依赖关系。
- dim_feedforward