目录
1.Transformer注意力机制
TransformerBlock是Transformer模型架构的基本组件，广泛应用于机器翻译、文本摘要和情感分析等自然语言处理任务。
TransformerBlock是一个由两个子组件组成的构建块：多头注意力机制和前馈神经网络。这两个组件协同工作，处理和转换输入序列。
多头注意力机制负责从输入序列中捕获上下文信息。它通过使用多个注意力头同时关注序列的不同部分来实现这一点。每个注意力头计算每个输入元素相对于其他元素的重要性，使模型能够专注于输入序列的不同方面。
然后将前馈神经网络应用于多头注意力机制的输出。它由两个线性层组成&#