一 Codeformer 介绍
Codeformer 是由南洋理工大学和商汤科技联合研究中心 S-Lab 在 2022 年提出的一种基于 VQGAN 和 Transformer 的图像修复模型。
Codeformer 作用
Codeformer可修复各种类型图像的损坏,包括:
- 模糊:提高图像清晰度
- 低分辨率:提高图像分辨率exclamation
- 损坏:修复图像缺失、破损等问题
- 噪声:去除图像噪声
- 马赛克:去除图像马赛克
Codeformer 原理
Codeformer 的大致工作原理分为两步:
- 编码:使用 VQGAN 将图像编码成离散的视觉码序列
- 解码:使用 Transformer 对视觉码序列进行解码,生成修复后的图像。
Codeformer 优势
Codeformer 具有以下优势:
- 修复效果好:Codeformer 可以修复各种类型图像的损坏,并获得高质量的修复效果。
- 速度快:Codeformer 的修复速度较快,可以满足实时应用的需求。
- 易于使用:Codeformer 提供简单的 API 接口,易于使用和部署。
更多的详细的资料请参考 Codeformer 线上论文: https://arxiv.org/abs/2206.11253
二 在Codeformer 效果
在stablediffusion webui 使用Codeformer后的前后效果图对比
把模糊的老照片直接还原,可以看出Codeformer 还是挺牛B的