换脸的关键在于人脸对齐,人脸对齐主要包括以下几点:
1、人脸可能存在一定的角度,因此需要先将倾斜方向进行对齐
2、大小对齐,将模板人脸的大小缩放到同一大小
3、要想有好的效果,关键点选取很重要
4、人脸对齐后,使用seamlessClone函数可以最大化的融合,还可以通过addWeighted函数进行调节比例,让图像看起来更自然。
人脸融合实现
cv::Mat FusionFace(const cv::Mat& srcImg, const cv::Rect& srcBox, const cv::Mat& destImg, const cv::Rect &destBox, std::vector<cv::Point>& vecDstPointRoi)
{
auto destFace = destImg(destBox);
cv::Mat destAlignFace;
cv::resize(destFace, destAlignFace, srcBox.size());
std::cout << "srcBox:" << srcBox << std::endl;
auto center = (srcBox.br() + srcBox.tl())/2 ;
std::vector<cv::Point> vecDstPointKey = vecDstPointRoi;
vecDstPointKey.erase(vecDstPointKey.begin() + vecDstPointKey.size() - 8, vecDstPointKey.end());
//获取旋转矩阵掩码
auto rotateRect = cv::minAreaRect(vecDstPointKey);
cv::Point2f pot[4];
rotateRect.points(pot);
std::vector<cv::Point> rotatePoints{pot[0], pot[1], pot[2], pot[3]};
cv::Mat maskRect(srcBox.size(), CV_8UC1, cv::Scalar(0));
cv::fillConvexPoly(maskRect, rotatePoints, cv::Scalar(255));
//获取圆形掩码
cv::Mat maskCicle(srcBox.size(), CV_8UC1, cv::Scalar(0));
float radius = std::min(rotateRect.size.width, rotateRect.size.height);
cv::circle(maskCicle, rotateRect.center, radius, cv::Scalar(255), -1);
//去并集,最小化掩码区域
cv::Mat maskArea(srcBox.size(), CV_8UC1, cv::Scalar(0));
cv::bitwise_and(maskRect, maskCicle, maskArea);
cv::Mat tmpDestImg;
cv::Mat srcRoi = srcImg(srcBox);
cv::seamlessClone(destAlignFace, srcImg, maskArea, center, tmpDestImg, cv::NORMAL_CLONE);
//图像增强
return FaceEnhance(srcBox, tmpDestImg, srcImg, vecDstPointKey);
}
融合效果
对图像进行增强后的效果