Transformer的1000+篇文章总结

本文收集和总结了有关Transformer的1000+篇文章，由于篇幅有限只能总结近期的内容，想了解更多内容可以访问：http://www.ai2news.com/, 其分享了有关AI的论文、文章、图书。

query

• Transformer中的FPN-Swin Transformer http://www.ai2news.com/blog/2983915/
• Vision Transformer学习笔记2: Swin Transformer http://www.ai2news.com/blog/2598888/
• The Transformer Architecture http://www.ai2news.com/blog/2454066/
• 7.1 The transformer http://www.ai2news.com/blog/2466612/
• 04 transformer http://www.ai2news.com/blog/2627398/
• 【Transformer系列】基础Transformer模型和代码详解 http://www.ai2news.com/blog/2744779/
• 【Transformer系列】使用多模态融合Transformer做自动驾驶 http://www.ai2news.com/blog/2929439/
• A Tour of Transformer Applications http://www.ai2news.com/blog/2454056/
• 3. Transformer Anatomy http://www.ai2news.com/blog/2454065/
• 11.4 The Transformer Architecture http://www.ai2news.com/blog/2470338/
• 11.4 The Transformer architecture http://www.ai2news.com/blog/2465599/
• 8 Attention and Transformer http://www.ai2news.com/blog/2464973/
• 8.3 Transformer and self-attention http://www.ai2news.com/blog/2464976/
• 9.2 Transformer encoders http://www.ai2news.com/blog/2464214/
• 9.3 Transformer decoders http://www.ai2news.com/blog/2464215/
• Transformer模型实现 http://www.ai2news.com/blog/2640592/
• Swin Transformer详解 http://www.ai2news.com/blog/2676518/
• 解析Transformer模型 http://www.ai2news.com/blog/2651742/
• 解析 Vision Transformer http://www.ai2news.com/blog/2660928/
• Swin Transformer解读 http://www.ai2news.com/blog/2815754/
• Transformer的一家！ http://www.ai2news.com/blog/2924552/
• 下一代视觉Transformer：解锁CNN和Transformer正确结合方法 http://www.ai2news.com/blog/2638421/
• Transformer自下而上理解(5) 从Attention层到Transformer网络 http://www.ai2news.com/blog/2710814/
• CVPR2022 Oral - Shunted Transformer：全新多尺度视觉 Transformer 主干网络 http://www.ai2news.com/blog/2889146/
• The Generative Pre-Trained Transformer: GPT-3 http://www.ai2news.com/blog/2244531/
• 5.2 Understanding the Transformer model http://www.ai2news.com/blog/2309759/
• Building a Transformer from Scratch http://www.ai2news.com/blog/2459351/
• 7.2 The Generative Pretrained Transformer http://www.ai2news.com/blog/2466613/
• Beyond Convolution: The Transformer Architecture http://www.ai2news.com/blog/2453873/
• 浅谈视觉Transformer技术 http://www.ai2news.com/blog/2654778/
• [WeeklyPaper] 亿文读懂Transformer http://www.ai2news.com/blog/2600017/
• 白话机器学习-Transformer http://www.ai2news.com/blog/2669237/
• 使用TensorFlow手写Transformer http://www.ai2news.com/blog/2676520/
• 什么是Transformer模型? http://www.ai2news.com/blog/2772733/
• Transformer细节"灵魂"拷问 <a href=“http://www.ai2news.com/blog/2786986/” name=“Transformer细节"灵魂"拷问 - AI牛丝” title=“Transformer细节"灵魂"拷问 - AI牛丝”> http://www.ai2news.com/blog/2786986/
• （Nips-2015）Spatial Transformer Networks http://www.ai2news.com/blog/2796116/
• 为什么Transformer要用LayerNorm？ http://www.ai2news.com/blog/2924556/
• transformer高效训练方法一览 http://www.ai2news.com/blog/2944752/
• Transformer Bounty开发者计划 http://www.ai2news.com/blog/2927497/
• Transformer的物理原理 http://www.ai2news.com/blog/2964932/
• 高效transformer变形一览 http://www.ai2news.com/blog/2981448/
• 高效Transformer | 85FPS！CNN + Transformer语义分割的又一境界,真的很快！ http://www.ai2news.com/blog/2766782/
• Transformer又一城 | Swin-Unet：首个纯Transformer的医学图像分割模型解读 http://www.ai2news.com/blog/2766736/
• 14.1 Creating your own transformer http://www.ai2news.com/blog/2466419/
• Vision Transformer学习笔记1 http://www.ai2news.com/blog/2598889/
• Transformer - 李宏毅笔记 http://www.ai2news.com/blog/2599191/
• 透过Transformer重新看OCRNet http://www.ai2news.com/blog/2596759/
• 万字长文带你入门Transformer http://www.ai2news.com/blog/2636406/
• Transformer 模型：入门详解（1） http://www.ai2news.com/blog/2639123/
• Transformer 目标检测之 DETR http://www.ai2news.com/blog/2676514/
• （附链接）1000层transformer横空出世！ http://www.ai2news.com/blog/2677931/
• 《互协方差注意力Transformer：XCiT》 http://www.ai2news.com/blog/2651701/
• Transformer做的千层饼 http://www.ai2news.com/blog/2653482/
• DeiT：使用Attention蒸馏Transformer http://www.ai2news.com/blog/2774228/
• Transformer模型的基础演算 http://www.ai2news.com/blog/2859222/
• 【Transformer】DINO Decoder layer 技术细节 http://www.ai2news.com/blog/2830590/
• 小白看得懂的 Transformer (图解) http://www.ai2news.com/blog/2813079/
• Transformer 模型的工作原理 http://www.ai2news.com/blog/2801216/
• 机器人论文阅读（Robotics Transformer） http://www.ai2news.com/blog/2823722/
• 使用transformer进行图像分类 http://www.ai2news.com/blog/2924578/
• Transformer常见问题与回答总结 http://www.ai2news.com/blog/2924549/
• Transformer：Attention Is All You Need http://www.ai2news.com/blog/2964774/
• 基于Transformer的视频分类方法 http://www.ai2news.com/blog/2983979/
• 玩转ChatGPT：Transformer分类模型 http://www.ai2news.com/blog/3002355/
• 聊天机器人：入门、进阶与实战: 5.4 Transformer & 5.4.2 Attention is all you need（Transformer） http://www.ai2news.com/blog/2289984/
• 在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数 http://www.ai2news.com/blog/3003016/
• 语义分割中的Transformer（第三篇）：PVT — 用于密集预测任务的金字塔 Vision Transformer http://www.ai2news.com/blog/2889155/
• 语义分割中的Transformer（第一篇）：SETR与TransUNet — 使用Transformer时解码器的设计 http://www.ai2news.com/blog/2889158/
• 强的离谱 , Transformer 杀疯了！ http://www.ai2news.com/blog/2614745/
• MobileViT：经典的轻量级Vision Transformer http://www.ai2news.com/blog/2574304/
• 2021 ICCV Best Paper | Swin Transformer http://www.ai2news.com/blog/2596763/
• EfficientFormerV2: Transformer家族中的MobileNet http://www.ai2news.com/blog/2637535/
• 大话chatGPT原理剖析之Transformer http://www.ai2news.com/blog/2635058/
• 理解Transformer的多维位置编码 http://www.ai2news.com/blog/2693707/
• Transformer自下而上理解(1) Sequence-to-Sequence模型 http://www.ai2news.com/blog/2703356/
• 从零实现了 Transformer 模型 http://www.ai2news.com/blog/2677800/
• 大白话用Transformer做Object Detection http://www.ai2news.com/blog/2676495/
• ​什么是Transformer机器学习模型？ http://www.ai2news.com/blog/2676567/
• Transformer模型：文本生成的神器 http://www.ai2news.com/blog/2743670/
• 破解transformer八股，快问快答 http://www.ai2news.com/blog/2764030/
• 在 ML.NET 中使用Hugginface Transformer http://www.ai2news.com/blog/2763091/
• Transformer越新里程碑！破10万！ http://www.ai2news.com/blog/2924339/
• 为什么Transformer适合做多模态任务？ http://www.ai2news.com/blog/2924441/
• 关于Transformer中常遇到的问题解答 http://www.ai2news.com/blog/2924445/
• Transformer在视觉领域的应用 http://www.ai2news.com/blog/2878309/
• Microsoft Research-DeepNet：突破1000层的Transformer http://www.ai2news.com/blog/2889211/
• 带有可变注意力的视觉Transformer http://www.ai2news.com/blog/2984562/
• 7 Deep transfer learning for NLP with the transformer and GPT http://www.ai2news.com/blog/2466611/
• 14.3 Using our transformer and estimator in an ML pipeline http://www.ai2news.com/blog/2466421/
• 综述 | 应用于时间序列中的Transformer http://www.ai2news.com/blog/2614811/
• ECCV | 数据高效的Transformer目标检测器 http://www.ai2news.com/blog/2768861/
• Attention Is All You Need (Transformer) 论文精读 http://www.ai2news.com/blog/2595680/
• Vision Transformer中的自监督学习 http://www.ai2news.com/blog/2640521/
• Transformer自下而上理解(2) 注意力（Attention）机制 http://www.ai2news.com/blog/2703355/
• 明月深度学习实践012：Transformer学习 http://www.ai2news.com/blog/2693049/
• Transformer自下而上理解(4) Attention without RNN http://www.ai2news.com/blog/2710815/
• CvT: 如何将卷积的优势融入Transformer http://www.ai2news.com/blog/2651737/
• 研读|Spikformer: 当脉冲神经网络遇上Transformer http://www.ai2news.com/blog/2652838/
• VIT：用于大规模图像识别的Transformer（2020） http://www.ai2news.com/blog/2653365/
• 解读CVPR’23中2篇Vision Transformer工作 http://www.ai2news.com/blog/2733572/
• 多头自注意力模型之：Transformer详解 http://www.ai2news.com/blog/2830208/
• 【Transformer系列】BERT模型和代码解析 http://www.ai2news.com/blog/2830209/
• Transformer文本分类推理流程及复现 http://www.ai2news.com/blog/2819523/
• 【原创】理解ChatGPT之剖析Transformer内核 http://www.ai2news.com/blog/2813561/
• 十年回顾——CV的未来：ConvNeXt or Transformer? http://www.ai2news.com/blog/2938106/
• CoAtNet：CNN 和 Transformer的完美结合 http://www.ai2news.com/blog/2803657/
• BViT：基于宽度注意力的视觉Transformer http://www.ai2news.com/blog/3002323/
• 大语言模型的技术总结系列一：RNN与Transformer架构的区别以及为什么Transformer更好 http://www.ai2news.com/blog/2813953/
• Transformer在时间序列预测中的应用 http://www.ai2news.com/blog/2614787/
• OW-DETR: 基于 Transformer 的开放世界目标检测器 http://www.ai2news.com/blog/2627028/
• CV Transformer成为继CNN的下一代神经网络 http://www.ai2news.com/blog/2596785/
• Swin Transformer对CNN的降维打击 http://www.ai2news.com/blog/2596764/
• 大白话用Transformer做BEV 3D目标检测 http://www.ai2news.com/blog/2638447/
• 【他山之石】使用JAX实现完整的Vision Transformer http://www.ai2news.com/blog/2675447/
• MBHT | 流水的序列推荐，铁打的Transformer http://www.ai2news.com/blog/2650907/
• DeepMind：用伪代码详解Transformer，PDF下载 http://www.ai2news.com/blog/2712952/
• 纯Transformer的语义分割网络!代码开源！ http://www.ai2news.com/blog/2766273/
• 破解transformer/Bert八股快问快答（二） http://www.ai2news.com/blog/2764028/
• 一文弄懂Transformer中的自注意力机制 http://www.ai2news.com/blog/2862607/
• 面向推荐场景的自监督超图Transformer http://www.ai2news.com/blog/2871260/
• 自动扩展的视觉Transformer来了！无需训练 http://www.ai2news.com/blog/2761266/
• 深入了解 Transformers – Part 1: 介绍 Transformer 模型 http://www.ai2news.com/blog/2786934/
• 深度学习基础算法系列（23）-深入浅出Transformer http://www.ai2news.com/blog/2787900/
• 文本生成系列之transformer结构扩展（一） http://www.ai2news.com/blog/2794466/
• 文本生成系列之transformer结构扩展（三） http://www.ai2news.com/blog/2794464/
• 文本生成系列之transformer结构扩展（二） http://www.ai2news.com/blog/2794465/
• (ICCV-2021)TransReID：基于transformer的目标重识别 http://www.ai2news.com/blog/2796176/
• ICLR 2023 | DIFFormer: 扩散过程启发的Transformer http://www.ai2news.com/blog/2979992/
• CVPR 2022 | 高质量实例分割Transformer：Mask Transfiner http://www.ai2news.com/blog/2938137/
• 谷歌提出 FLASH: 线性复杂度的高效Transformer http://www.ai2news.com/blog/2889186/
• 综述 | 基于 Transformer 网络的多模态学习 http://www.ai2news.com/blog/2965511/
• ICLR 2023 | PatchTST: 基于Transformer的长时间序列预测 http://www.ai2news.com/blog/2637936/
• CVPR2021 | 基于时空Transformer网络的骨骼动作识别 http://www.ai2news.com/blog/2613574/
• 【最新论文】Transformer又整新活儿了，∞-former http://www.ai2news.com/blog/2613754/
• 跨界模型！使用Transformer来做物体检测 http://www.ai2news.com/blog/2588202/
• ActionFormer----用于时许动作定位（首次加入transformer） http://www.ai2news.com/blog/2622305/
• 吴恩达《深度学习专项》笔记（十七）：Transformer http://www.ai2news.com/blog/2595678/
• TrOCR：基于预训练模型的Transformer光学字符识别 http://www.ai2news.com/blog/2592450/
• DualFormer: 分层的transformer（局部-全局）—用于视频识别 http://www.ai2news.com/blog/2600001/
• TallFormer—（用于时序动作定位的长期记忆Transformer） http://www.ai2news.com/blog/2600021/
• BEVFormer：基于Transformer的自动驾驶BEV纯视觉感知 http://www.ai2news.com/blog/2638333/
• YOLOS：通过目标检测重新思考Transformer（附源代码） http://www.ai2news.com/blog/2812079/
• ECCV 2022 | 通往数据高效的Transformer目标检测器 http://www.ai2news.com/blog/2638419/
• 霸榜COCO！DINO: 让目标检测拥抱Transformer http://www.ai2news.com/blog/2638422/
• GPT-3：一种基于Transformer的大规模语言模型技术 http://www.ai2news.com/blog/2703340/
• Transformer: 使用BERT预训练模型进行文本分类 http://www.ai2news.com/blog/2859645/
• 基于Transformer的高光谱图像超分辨率重建 http://www.ai2news.com/blog/2722567/
• ICLR 2022 | 基于Transformer的跨域方法——CDTrans http://www.ai2news.com/blog/2655290/
• Pytorch一行代码便可以搭建整个transformer模型 http://www.ai2news.com/blog/2750735/
• AAAI 2023 | Transformer 对时序预测真的有效吗？ http://www.ai2news.com/blog/2758897/
• 使用PyTorch 2.0加速Transformer：训练推理均拿下！ http://www.ai2news.com/blog/2766760/
• Transformer也可以做目标检测，效果还不错！ http://www.ai2news.com/blog/2765939/
• 点云处理算法论文阅读（Point Cloud Transformer） http://www.ai2news.com/blog/2823743/
• 如何看待swin transformer成为ICCV2021的 best paper？ http://www.ai2news.com/blog/2924557/
• 正面刚CNN，Transformer居然连犯错都像人类 http://www.ai2news.com/blog/2924559/
• 自注意力归因：解释Transformer内部的信息交互 http://www.ai2news.com/blog/2964769/
• 行人检测:域泛化，cnn, transformer和超越 http://www.ai2news.com/blog/2975823/
• ECCV 2020 | 用于行人轨迹预测的时空图 Transformer 网络 http://www.ai2news.com/blog/2612388/
• 在CV界，传统卷积已经彻底输给Transformer了吗？ http://www.ai2news.com/blog/2924550/
• Transformer升级之路：长度外推性与局部注意力 http://www.ai2news.com/blog/2586865/
• Transformer 统治的时代，为什么 LSTM 并没有被完全替代？ http://www.ai2news.com/blog/2574308/
• NIPS 2022 | 最新类别感知对抗Transformer分割网络CASTformer http://www.ai2news.com/blog/2637546/
• 卷积核扩大到51x51，新型CNN架构SLaK反击Transformer http://www.ai2news.com/blog/2638308/
• CVPR2022：使用完全交叉Transformer的小样本目标检测 http://www.ai2news.com/blog/2638063/
• 震惊！| EfficientFormerV2：Transformer居然还能比MobileNet还快更准！ http://www.ai2news.com/blog/2637525/
• Chem. Sci. | SyntaLinker: 基于Transformer神经网络的片段连接生成器 http://www.ai2news.com/blog/2646459/
• 探寻ChatGPT底层模型诞生之路 —— Transformer关键论文解读 http://www.ai2news.com/blog/2641632/
• ICLR2022 | UniNet: 统一Convolution, Transformer, and MLP的NAS搜索空间？ http://www.ai2news.com/blog/2703376/
• AI论文精读-3-打开通用人工智能大门的Transformer http://www.ai2news.com/blog/2693594/
• 归一化原来这么重要！深入浅出详解Transformer中的Normalization http://www.ai2news.com/blog/2676488/
• PyTorch创始人：Transformer太火很不好，AI易撞墙 http://www.ai2news.com/blog/2713160/
• ECCV 2022 | 港中文MMLab：基于Transformer的光流 http://www.ai2news.com/blog/2651886/
• BEIT（CV版BERT）:BERT图像Transformer预训练（2022） http://www.ai2news.com/blog/2653363/
• Transformer -基于BERT微调阅读理解问答模型实战（Huggingface） http://www.ai2news.com/blog/2653369/
• 被引用3.8万次，五年时间 Transformer 发展成了这样！ http://www.ai2news.com/blog/2713623/
• CVPR2023 | 用于图像到视频转换的双路径Transformer http://www.ai2news.com/blog/2731394/
• 深入理解AutoML和AutoDL：构建: 12.3.2 初识Transformer模型 http://www.ai2news.com/blog/2288976/
• 深入理解AutoML和AutoDL：构建: 12.3.3 Evolved Transformer结构 http://www.ai2news.com/blog/2288977/
• 6张示意图解释6种语言模型（Language Transformer）的训练方法 http://www.ai2news.com/blog/2760233/
• CVPR23 高分作｜拥有top-down attention能力的vision transformer http://www.ai2news.com/blog/2798850/
• 译文｜将PageRank算法融入Transformer进行长文本匹配 http://www.ai2news.com/blog/2822857/
• 【原创】理解ChatGPT之背后的Transformer和注意力机制 http://www.ai2news.com/blog/2813562/
• 基于Transformer网络架构的深度学习流场重构 http://www.ai2news.com/blog/2813569/
• NeurIPS 2022 | 交叉聚合：基于Transformer的图像复原模型 http://www.ai2news.com/blog/2937906/
• ICCV 2021 | GLiT：一种更适合图像任务的transformer网络结构 http://www.ai2news.com/blog/2938170/
• 星标破10万！Auto-GPT之后，Transformer越新里程碑 http://www.ai2news.com/blog/3000494/
• 中国科学院、东南大学等联合发表最新的视觉 Transformer 综述 http://www.ai2news.com/blog/2924553/
• ICLR 2023 | Edgeformers: 基于Transformer架构的表征学习框架 http://www.ai2news.com/blog/2834518/
• 图图名师讲堂 | “视觉Transformer”主编论坛【直播预告】 http://www.ai2news.com/blog/2944604/
• ICLR2021-谷歌大脑团队Vision Transformer：AN IMAGE IS WORTH 16X16 WORDS http://www.ai2news.com/blog/2889193/
• 组会系列 | Visual Saliency Transformer: 视觉显著性检测Tranformer http://www.ai2news.com/blog/2973494/
• Informer：用于长序列时间序列预测的新型Transformer http://www.ai2news.com/blog/2964771/
• GPT底层网络详解：Transformer网络结构中的细节问题 http://www.ai2news.com/blog/2964865/
• Transformer升级之路：一种全局长度外推的新思路 http://www.ai2news.com/blog/2992513/
• 【最新成果】基于Transformer网络的机载雷达多目标跟踪方法 http://www.ai2news.com/blog/2615277/
• 五年时间被引用3.8万次，Transformer宇宙发展成了这样 http://www.ai2news.com/blog/2590790/
• 【文献】Mask transfiner：一种基于Transformer的高质量实例分割方法 http://www.ai2news.com/blog/2624855/
• 基于边缘辅助极线Transformer的多视角场景重建 http://www.ai2news.com/blog/2626220/
• 点评 | 大脑里也有个Transformer！和「海马体」机制相同 http://www.ai2news.com/blog/2623259/
• SIGIR 2022 | 邻域建模Graph-Masked Transformer，显著提高CTR预测性能 http://www.ai2news.com/blog/2623300/
• 人脸识别精度提升 | 基于Transformer的人脸识别（附源码） http://www.ai2news.com/blog/2638833/
• 熬了一晚上，我从零实现了Transformer模型 http://www.ai2news.com/blog/2640066/
• Nat. Commun. | 基于异构图Transformer的单细胞生物网络推理 http://www.ai2news.com/blog/2646522/
• AAAI 2023 | 一种通用的粗-细视觉Transformer加速方案 http://www.ai2news.com/blog/2664108/
• 【他山之石】图机器学习无处不在，用Transformer可缓解GNN限制 http://www.ai2news.com/blog/2675444/
• 文档AI-DiT：文档图像Transformer的自监督预训练(2022) http://www.ai2news.com/blog/2653362/
• 利用Transformer替代MSA从蛋白序列中学习Contact Map http://www.ai2news.com/blog/2753510/
• ICLR 2023|| Graph Transformer的表示能力与深度的关系 http://www.ai2news.com/blog/2761310/
• CVPR 2023 Highlight | AbSViT：拥有自上而下注意力机制的视觉Transformer http://www.ai2news.com/blog/2937873/
• ECCV 2022 | 中科大&京东提出：数据高效的Transformer目标检测器 http://www.ai2news.com/blog/2937982/
• 解决训练难题，1000层的Transformer来了，训练代码很快公开 http://www.ai2news.com/blog/2924551/
• ICML 2023 | 轻量级视觉Transformer (ViT) 的预训练实践手册 http://www.ai2news.com/blog/2935235/
• 20+篇Transformer里程碑式论文，带你从里到外掌握ChatGPT（附下载） http://www.ai2news.com/blog/3001659/
• 胸部X光片病理定位新方法！Radiomics-Guided Global-Local Transformer来了！ http://www.ai2news.com/blog/3005300/
• 阿里达摩院将Transformer应用于目标重识别，效果显著（附源代码） http://www.ai2news.com/blog/2638847/
• 最高加速9倍！字节跳动开源8比特混合精度Transformer引擎 http://www.ai2news.com/blog/2614731/
• 一招入魂！| CLIPPO：利用Transformer建立多模态模型新范式！ http://www.ai2news.com/blog/2601568/
• 五年引用3.8万次，Transformer宇宙发展成了这样，ChatGPT只是其中之一 http://www.ai2news.com/blog/2651608/
• CIKM 2022 | 基于文本增强和缩略-恢复策略的缩略词Transformer http://www.ai2news.com/blog/2623324/
• ​KDD 2022 | kgTransformer：基于知识图谱与Transformer的复杂逻辑查询 http://www.ai2news.com/blog/2596701/
• ICLR 2023 | SDF-Former: 首个基于 TSDF 的3D Transformer 场景重建算法 http://www.ai2news.com/blog/2636394/
• NeurlPS 2022 | 用于医学图像分割的类感知生成对抗Transformer http://www.ai2news.com/blog/2638358/
• 基于分层自监督学习将视觉Transformer扩展到千兆像素图像 http://www.ai2news.com/blog/2828840/
• 精度提升方法：自适应Tokens的高效视觉Transformer框架（已开源） http://www.ai2news.com/blog/2638073/
• 10行代码搞定图Transformer，图神经网络框架DGL迎来1.0版本 http://www.ai2news.com/blog/2680236/
• 谷歌 | 大改Transformer注意力，速度、内存利用率都大幅度提升（附源代码） http://www.ai2news.com/blog/2638630/
• UN-EPT | 一种用于语义分割任务的统一高效金字塔Transformer网络 http://www.ai2news.com/blog/2637755/
• ​300+篇文献！一文详解基于Transformer的多模态学习最新进展 http://www.ai2news.com/blog/2637808/
• ICLR 2022 | Transformer不比CNN强！Local Attention和动态Depth-wise卷积 http://www.ai2news.com/blog/2638439/
• Transformer升级之路：长度外推性与位置鲁棒性 http://www.ai2news.com/blog/2637937/
• 综合LSTM、transformer优势，DeepMind强化学习智能体提高数据效率 http://www.ai2news.com/blog/2637953/
• ConvNeXt V2来了，仅用最简单的卷积架构，性能不输Transformer http://www.ai2news.com/blog/2642417/
• TypeScript 想更深入一层？我推荐自定义 transformer 的 compiler api http://www.ai2news.com/blog/2688403/
• ACM MM 2022 | 统一归一化：加速Transformer工业部署的归一化方法 http://www.ai2news.com/blog/2677023/
• 【他山之石】通过pytorch深入理解transformer中的自注意力(self attention) http://www.ai2news.com/blog/2675440/
• 【综述专栏】伯克利最新《Transformer推理全栈优化》综述，45页pdf http://www.ai2news.com/blog/2675445/
• ECCV2022：在Transformer上进行递归，不增参数，计算量还少！ http://www.ai2news.com/blog/2676444/
• 【目标检测算法50篇速览】4，Anchor Free及Transformer时代 http://www.ai2news.com/blog/2651755/
• [ECCV 2022]基于纯Transformer和集成专家的场景文本识别方法 http://www.ai2news.com/blog/2716962/
• CVPR2023 | SparseViT: 推理加速1.5倍，一种有效处理高分辨率图像的Transformer！ http://www.ai2news.com/blog/2756991/
• 通过7个版本的attention的变形，搞懂transformer多头注意力机制 http://www.ai2news.com/blog/2750736/
• 太酷啦，Transformer 的有效上下文长度可扩展至百万级 http://www.ai2news.com/blog/2822346/
• Nat. Machine. Intell. | 联合条件生成与属性预测的多任务Transformer http://www.ai2news.com/blog/2797169/
• 开源加速Transformer推理的工具！腾讯的第100个开源项目 http://www.ai2news.com/blog/2788586/
• MICCAI 2022：使用自适应条形采样和双分支 Transformer 的 DA-Net http://www.ai2news.com/blog/2813241/
• 彻底解决ChatGPT健忘症！突破Transformer输入限制：实测支持200万个有效token http://www.ai2news.com/blog/2879203/
• 论文+代码推送|基于局部Transformer的高光谱遥感影像分类 http://www.ai2news.com/blog/2870871/
• 谷歌最新时间序列预测模型TiDE，超越Transformer模型！[论文讲解] http://www.ai2news.com/blog/2973499/
• JCIM | Transformer模型能够快速学习分子信息并生成活性分子 http://www.ai2news.com/blog/3002332/
• 20+篇里程碑式论文，带你从「Transformer的前世」速通到ChatGPT http://www.ai2news.com/blog/3010834/
• Facebook团队新作 | Rev-ViT: 一种即插即用且对内存友好的Transformer架构 http://www.ai2news.com/blog/2636393/
• 脑洞大开！把Transformer当通用计算机用，还能执行in-context learning算法 http://www.ai2news.com/blog/2637934/
• DilateFormer：高效的Vision Transformer|中山大学和鹏城实验室联合提出，发表于TMM2023 http://www.ai2news.com/blog/2530713/
• ICCV2021：阿里达摩院将Transformer应用于目标重识别，效果显著（附源代码） http://www.ai2news.com/blog/2614762/
• CVPR2022：使用完全交叉Transformer的小样本目标检测（附论文下载） http://www.ai2news.com/blog/2614748/
• 利用TRansformer进行端到端的目标检测及跟踪（附源代码） http://www.ai2news.com/blog/2935233/
• 利用Transformer进行端到端的目标检测及跟踪（附源代码） http://www.ai2news.com/blog/2870409/
• 学完这个教程，小白也能构建Transformer模型，DeepMind科学家推荐 http://www.ai2news.com/blog/2639433/
• ​NeurIPS 2022 | 仅需3分钟！开源Transformer快速训练后剪枝框架来了 http://www.ai2news.com/blog/2638345/
• 杀疯了! | UNETR++：轻量级的共享权重Transformer称霸医学图像分割领域 http://www.ai2news.com/blog/2632904/
• Meta发布ConvNeXt V2！仅用最简单的卷积架构，性能不输Transformer http://www.ai2news.com/blog/2638947/
• 从Transformer到扩散模型，一文了解基于序列建模的强化学习方法 http://www.ai2news.com/blog/2637813/
• 【科技进展】基于带有Transformer和CBAM嵌入的ResU-Net的滑坡提取 http://www.ai2news.com/blog/2670188/
• ECCV 2022 | PanoFormer: 首个360°全景定制的单目深度估计Transformer http://www.ai2news.com/blog/2672688/
• Transformer作者出走谷歌创业，专攻通用人工智能，已获得6500万美元投资 http://www.ai2news.com/blog/2652635/
• 人大金琴团队最新综述：基于 Transformer 的「视频-语言」预训练 http://www.ai2news.com/blog/2654513/
• DeepMind“反向”搭建Transformer方法火了：由可解释程序设计AI，项目已开源 http://www.ai2news.com/blog/2652025/
• 一文梳理Transformer在时间序列预测中的发展历程代表工作 http://www.ai2news.com/blog/2715148/
• CVPR 2023 | 结合Transformer和CNN的多任务多模态图像融合方法 http://www.ai2news.com/blog/2747328/
• 解读UTNet | 用于医学图像分割的混合Transformer架构（文末获取论文） http://www.ai2news.com/blog/2766737/
• DAFormer | 使用Transformer进行语义分割无监督域自适应的开篇之作 http://www.ai2news.com/blog/2766732/
• 论文浅尝 | 利用知识图谱增强的Transformer进行跨领域方面抽取 http://www.ai2news.com/blog/2791268/
• 广告行业中那些趣事系列46：一文看懂Transformer中attention的来龙去脉 http://www.ai2news.com/blog/2813465/
• 语义分割中的Transformer（第二篇）：SegFormer — 简单有效的语义分割新思路 http://www.ai2news.com/blog/2889157/
• IROS 2022 | 基于实例编码Transformer的3D零件装配，性能提升10% http://www.ai2news.com/blog/2937848/
• AAAI 2022 | 可解释性ViT登场，谷歌AI提出层次嵌套Transformer模型 http://www.ai2news.com/blog/2938043/
• AAAI 2023｜模拟人脑场景感知过程，套娃Transformer讲故事能力更上一层楼 http://www.ai2news.com/blog/2937910/
• OW-DETR：谷歌等单位提出面向开放世界目标检测的视觉Transformer http://www.ai2news.com/blog/2938004/
• 牛津大学提出PSViT | Token池化+Attention Sharing让Transformer模型不再冗余！ http://www.ai2news.com/blog/2938249/
• 人人能懂的深度学习【第一课】: 序列模型，自注意力和Transformer http://www.ai2news.com/blog/2845625/
• 【LLM系列之GPT】GPT（Generative Pre-trained Transformer）生成式预训练模型 http://www.ai2news.com/blog/2920527/
• 佳文分享| TGRS：Swin Transformer 嵌入UNet用于遥感图像语义分割 http://www.ai2news.com/blog/2969104/
• 论文概述 - 《理解1-layer Transformer中的动态训练和令牌组成细节》 http://www.ai2news.com/blog/3002456/
• Nat. Commun. | 韩敬东课题组提出基于Transformer的单细胞可解释注释方法 http://www.ai2news.com/blog/2602589/
• 解决训练不稳定性，何恺明团队新作来了！自监督学习+Transformer=MoCoV3 http://www.ai2news.com/blog/2601705/
• 即插即用系列！| Skip-Attention：一种能显著降低Transformer计算量的模型轻量化方法 http://www.ai2news.com/blog/2910584/
• ICCV何恺明团队又一神作：Transformer仍有继续改善的空间 http://www.ai2news.com/blog/2651820/
• CVPR 2022 | MeMViT：记忆增强的多尺度Vision Transformer长时间视频行为识别 http://www.ai2news.com/blog/2613599/
• ICLR 2023 | 让机器人理解“指向起源于触摸”的新SOTA架构Touch-line Transformer http://www.ai2news.com/blog/2937843/
• MICCAI 2022 | VT-UNet: 基于 3D UNet 架构的 Transformer 医学图像分割开篇之作！ http://www.ai2news.com/blog/2636390/
• 为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南 http://www.ai2news.com/blog/2525457/
• 阿里团队新作 | AFFormer：利用图像频率信息构建轻量化Transformer语义分割架构 http://www.ai2news.com/blog/2594959/
• 首次！无残差连接或归一化层，也能成功训练深度Transformer http://www.ai2news.com/blog/2638302/
• AAAI2023 | Transformer对时序预测真的有效吗？且看线性模型如何大战变形金刚 http://www.ai2news.com/blog/2639880/
• Chem. Commun. | 利用基于迁移学习策略的transformer 模型进行Heck反应预测 http://www.ai2news.com/blog/2646181/
• 【视频分割】开源 | 基于查询自适应Transformer的Few-Shot时间动作定位，性能SOTA！ http://www.ai2news.com/blog/2652137/
• Transformer深至1000层还能稳定训练，微软实习生一作，LSTM之父转发 http://www.ai2news.com/blog/2655503/
• 多模态-ViLT：无卷积或区域监督的视觉和语言Transformer（2021 ） http://www.ai2news.com/blog/2653366/
• 【医学影像学习】RTN：用于CCTA血管级影像质量评估的强化Transformer网络 http://www.ai2news.com/blog/2734677/
• 通用Transformer模型与我们接触的attention is all you need有何区别 http://www.ai2news.com/blog/2750734/
• CVPR 2023 | 正则化方法DropKey: 两行代码高效缓解视觉Transformer过拟合 http://www.ai2news.com/blog/2765822/
• ICLR 2023｜场景三维重建新SOTA！基于3D Transformer的单目场景重建 http://www.ai2news.com/blog/2855472/
• 两行代码高效缓解视觉Transformer过拟合，正则化方法DropKey了解了解 http://www.ai2news.com/blog/2822532/
• ECCV 2022｜经典算法老当益壮，谷歌提出基于k-means聚类的视觉Transformer http://www.ai2news.com/blog/2938039/
• CVPR2022｜全新两阶段HOI检测Transformer登场，探索交互自注意力新范式 http://www.ai2news.com/blog/2938042/
• CVPR 2022 | Vision Transformer模型在out-of-distribution数据上的泛化性能研究 http://www.ai2news.com/blog/2938041/
• CVPR 2022 | 华为诺亚方舟&悉尼大学提出CMT：CNN和Transformer的高效结合 http://www.ai2news.com/blog/2993325/
• 厦大&港大重磅开源nnFormer：用于医学图像分割的交叉Transformer http://www.ai2news.com/blog/2938139/
• Talk预告 | 北航助理教授周号益: 三元注意力：原来Transformer也货比三家？ http://www.ai2news.com/blog/2938314/
• Talk预告 | 复旦大学统计学在读硕士生卢嘉晨：面向更高效的Transformer http://www.ai2news.com/blog/2938333/
• 图与代码不一致，Transformer论文被发现错误，网友：早该被指出1000次 http://www.ai2news.com/blog/3000496/
• ICLR 2023 Oral | DIFFormer：从扩散过程出发，实现物理启发的Transformer设计 http://www.ai2news.com/blog/2993286/
• 比Transformer快4成！Meta发布全新Megabyte模型，解决算力损耗硬伤 http://www.ai2news.com/blog/3005261/
• 5分钟端侧部署视觉大模型！专为Transformer优化的AI芯片来了 http://www.ai2news.com/blog/3005217/
• 强化学习中的Transformer发展到哪一步了？清北联合发布TransformRL综述 http://www.ai2news.com/blog/2637804/
• 用Pytorch轻松实现28个视觉Transformer，开源库 timm 了解一下！（附代码解读） http://www.ai2news.com/blog/2601670/
• 【Transformer】开源 | 牛津大学&字节跳动提出TransMix，将基于Mixup的方法推向增强ViTs http://www.ai2news.com/blog/2613873/
• 无卷积骨干网络：金字塔Transformer，提升目标检测/分割等任务精度（附源代码） http://www.ai2news.com/blog/2638079/
• KBS 2022 | 基于骨架的动作识别：考虑时序核注意力的图Transformer网络 http://www.ai2news.com/blog/2613592/
• 把Transformer当通用计算机用，还能执行in-context learning算法，这项研究脑洞大开 http://www.ai2news.com/blog/2617446/
• 独家 | Transformer的可视化理解——深入本质探索其优良表现的原因（附链接） http://www.ai2news.com/blog/2583929/
• 让Transformer的推理速度提高4.5倍，这个小trick还能给你省十几万 http://www.ai2news.com/blog/2622650/
• 小样本学习下的Transformer：基于谱聚类层和标签代理学习 http://www.ai2news.com/blog/2638385/
• 清华朱军团队开源UniDiffuser：首个基于Transformer的多模态扩散大模型 http://www.ai2news.com/blog/2713679/
• PyTorch 2.0发布——性能大提升！来！给你们的transformer模型训练提提速！ http://www.ai2news.com/blog/2693690/
• 最强Vision Trabsformer | 87.7%准确率！CvT:将卷积引入视觉Transformer(文末附论文下载) http://www.ai2news.com/blog/2766775/
• Tansformer | 详细解读：如何在CNN模型中插入Transformer后速度不变精度剧增？ http://www.ai2news.com/blog/2766777/
• 详细解读 Transformer的即插即用模块 | MoE插件让ViT模型更宽、更快、精度更高 http://www.ai2news.com/blog/2766781/
• 放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较 http://www.ai2news.com/blog/2766093/
• 组会系列 | 两行代码高效缓解视觉Transformer过拟合—正则化方法DropKey http://www.ai2news.com/blog/2856678/
• Transformer模型有多少种变体？复旦邱锡鹏教授团队做了全面综述 http://www.ai2news.com/blog/2924450/
• 视觉Transformer BERT预训练新方式：中科大、MSRA等提出PeCo，优于MAE、BEiT http://www.ai2news.com/blog/2924554/
• 一图搞定GPT架构：轻松掌握Transformer和大语言模型的内在机制 http://www.ai2news.com/blog/3001607/
• Transformer称霸的原因找到了？OpenAI前核心员工揭开注意力头协同工作机理 http://www.ai2news.com/blog/2525916/
• SIGIR 2022 | 面向长代码序列的Transformer模型优化方法，提升长代码场景性能 http://www.ai2news.com/blog/2623299/
• 吴恩达的2022年终盘点：生成式AI、Vision Transformer(ViT)、AI代码助手 http://www.ai2news.com/blog/2599231/
• 熬了一晚上，我从零实现了Transformer模型，把代码讲给你听 http://www.ai2news.com/blog/2924558/
• 即插即用系列！| Hierarchical Attention: 轻松助力点云Transformer解决小目标和局部特征问题 http://www.ai2news.com/blog/2594958/
• 卷麻了！| DAE-Former：高效双重注意力引导的Transformer网络称霸医学图像分割任务 http://www.ai2news.com/blog/2637545/
• 统治扩散模型的U-Net要被取代了，谢赛宁等引入Transformer提出DiT http://www.ai2news.com/blog/2637717/
• 强化学习中的Transformer发展到哪一步了？清华、北大等联合发布TransformRL综述 http://www.ai2news.com/blog/2638854/
• Nat. Mach. Intel. | ReLSO: 具有正则化潜在空间优化的基于Transformer的蛋白生成 http://www.ai2news.com/blog/2646493/
• 基于Transformer预训练的蛋白语言模型是无监督的蛋白质结构学习器 http://www.ai2news.com/blog/2646047/
• 合成孔径雷达干涉测量InSAR、北斗/GNSS高精度数据处理暨GAMIT/GLOBK 软件、从CNN到Transformer http://www.ai2news.com/blog/2698370/
• 微软提出DeepNet：把Transformer提升到了1000层，目标检测领域新的希望（附源代码） http://www.ai2news.com/blog/2676443/
• Tokens-to-token ViT: 对token做编码的纯transformer ViT，T2T算引入了CNN了吗？ http://www.ai2news.com/blog/2651699/
• 史上最全Transformer合集！LeCun力推：给60个模型建目录，哪篇论文你错过了？ http://www.ai2news.com/blog/2759568/
• Hist2ST：联合Transformer和图神经网络从组织学图像中进行空间转录组学预测 http://www.ai2news.com/blog/2758379/
• 首个完全量化Vision Transformer的方法FQ-ViT | AI大模型落地加速还会远吗？ http://www.ai2news.com/blog/2766721/
• Nat. Mach. Intell. | Regression Transformer 一种同时实现了回归和生成的分子语言模型 http://www.ai2news.com/blog/2769365/
• 广告行业中那些趣事系列57：从理论到实战一网打尽Transformer中的位置编码 http://www.ai2news.com/blog/2813459/
• CVPR 2022 | 小鹏汽车联合石溪大学提出基于Transformer的安全域适应 http://www.ai2news.com/blog/2937955/
• 最新研究！Transformer的Token可拓展至100多万，精度高，兼容性好（含源码） http://www.ai2news.com/blog/2930222/
• 无监督语义分割-MaskDistill：用Transformer来挖掘先验，不需要任何标注数据达到SOTA http://www.ai2news.com/blog/2889141/
• Transformer仅有自注意力还不够？微软联合巴斯大学提出频域混合注意力SpectFormer http://www.ai2news.com/blog/2993285/
• 4月27日直播预告 | “生成式大语言模型技术分享”系列之《Transformer基础技术》 http://www.ai2news.com/blog/2979449/
• 【Applied Energy最新原创论文】基于Transformer的多模态学习超短期太阳辐射预测框架 http://www.ai2news.com/blog/3002634/
• Nat. Comput. Sci. | 使用有监督的Transformer蛋白质语言模型进行单序列蛋白质结构预测 http://www.ai2news.com/blog/2630040/
• NLP大模型压缩关键技术解读：用于大型Transformer的8-bit矩阵乘法原理及其简单实现 http://www.ai2news.com/blog/2734643/
• 大语言模型LLMs技术精粹，Transformer模型架构全解析：三生万物——且看AI江湖基石 http://www.ai2news.com/blog/2748737/
• ShiftViT用Swin Transformer的精度跑赢ResNet的速度，论述ViT的成功不在注意力！ http://www.ai2news.com/blog/2766765/
• 快手牛亚男：基于多Domain多任务学习框架和Transformer，搭建快手精排模型 http://www.ai2news.com/blog/2804800/
• 3D人体数据集不够用？这不又多了一个，还有基于Transformer的人体捕捉新方案哦 http://www.ai2news.com/blog/2899637/
• ICLR 2021 Spotlight | Transformer再下一城！多智能体强化学习获得远超SOTA的性能！ http://www.ai2news.com/blog/2938503/
• LeCun力推！以一己之力发布史上最全的Transformer分类和索引，36页PDF含60个模型 http://www.ai2news.com/blog/2610940/
• 顶会NeuIPS2022| 清华大学龙明盛课题组：提升Transformer在不平稳时间序列上的预测 http://www.ai2news.com/blog/2584008/
• 一个AI玩41个游戏，谷歌最新多游戏决策Transformer综合表现分是DQN的两倍 http://www.ai2news.com/blog/2639454/
• 谷歌自己的坑自己添 | 大改Transformer注意力，最终速度、内存利用率都大幅度提升（附源代码） http://www.ai2news.com/blog/2638629/
• 何恺明MAE大火之后，想梳理下视觉Transformer？这篇综述帮你梳理了100多个 http://www.ai2news.com/blog/2642478/
• 【医学图像分割】开源 | 用于医学图像分割的双注意力引导高效Transformer方法DAE-Former，性能SOTA！ http://www.ai2news.com/blog/2678116/
• 中大博士分析ICLR 2022投稿趋势：Transformer激增，ViT首进榜单前50，元学习大跌 http://www.ai2news.com/blog/2924520/
• 【文献碎碎念】基于 Transformer 的深度神经网络对数字乳腺断层合成图像进行乳腺癌分类 http://www.ai2news.com/blog/3005298/
• 高效神经网络架构的正确打开方式! | EMO：结合 CNN 和 Transformer 的现代倒残差移动模块设计 http://www.ai2news.com/blog/2813063/
• 陈昊星,李华雄,李耀辉,陈春林 | 基于稀疏空间域Transformer的小样本学习 http://www.ai2news.com/blog/2748125/
• 仅需90K参数！实时完成低光增强，曝光矫正的超轻量级Transformer网络IAT（已开源） http://www.ai2news.com/blog/2937991/
• Transformer模仿大脑，在预测大脑成像上超越42个模型，还能够模拟感官与大脑之间的传输 http://www.ai2news.com/blog/2924548/
• 清华朱军团队开源首个基于Transformer的多模态扩散大模型，文图互生、改写全拿下 http://www.ai2news.com/blog/2716683/
• 打打字就能指挥算法视频抠图，Transformer掌握跨模态新技能，精度优于现有模型丨CVPR 2022 http://www.ai2news.com/blog/2652744/
• 地平线工具链核心开发者杨志刚：基于征程5芯片的Transformer量化部署实践与经验｜自动驾驶新青年讲座 http://www.ai2news.com/blog/2766822/
• 深度学习进阶篇-预训练模型[1]：预训练分词Subword、ELMo、Transformer模型原理;结构;技巧以及应用详解 http://www.ai2news.com/blog/2969574/
• 魔改ResNet反超Transformer再掀架构之争！作者说“没一处是创新”，这些优化trick值得学 http://www.ai2news.com/blog/2622649/
• HF宣布在transformers库中引入首个RNN模型：RWKV，一个结合了RNN与Transformer双重优点的模型 http://www.ai2news.com/blog/2923474/
• Talk预告 | 微软亚洲研究院宋恺涛&南大余博涛：面向文本/音乐序列任务的Transformer注意力机制设计 http://www.ai2news.com/blog/2938087/
• CVPR’23-无需光流引导的视频联合去模糊和插帧transformer：针对真实世界运动模糊的插帧网络 http://www.ai2news.com/blog/2712172/
• 长文本处理大模型结构RMT工作解读与今日前沿速递：声称能处理长度超过一百万token的Transformer工作介绍 http://www.ai2news.com/blog/2856072/
• 燕山大学：基于级联视觉Transformer与多尺度特征融合的燃烧场温度层析成像(含视频) | 《电子与信息学报》佳文速递 http://www.ai2news.com/blog/2719684/