Bootstrap

Unet 改进:在encoder和decoder间加入TransformerBlock

目录

1. TransformerBlock

2. Unet 改进

3. 完整代码


Tips:融入模块后的网络经过测试,可以直接使用,设置好输入和输出的图片维度即可

1. TransformerBlock

TransformerBlock是Transformer模型架构的基本组件,广泛应用于机器翻译、文本摘要和情感分析等自然语言处理任务。

TransformerBlock是一个由两个子组件组成的构建块:多头注意力机制和前馈神经网络。这两个组件协同工作,处理和转换输入序列。

多头注意力机制

;