Bootstrap

lora,固定模特+固定衣服,怎么实现?

在电商行业,经常会有一个需求,就是把固定的衣服让模型穿上,然后拍很多的图片,放在商品主图、详情页、买家秀......

人工智能发展到现在,最近aigc也挺热门的,有没有办法用“人工智能”算法就实现这个功能,下面讲解下我在这个点上的探索(出于任务肖像权,这里将人脸进行模糊处理)

要求:模特A(现实生活中的某人)、固定衣服(从淘宝上随机找了一个衣服)。这里图片尺寸有些大,就不上传在文章主体了,当做封面图大家可以看

数据准备:20张模特半身图、20张模特全身图;3(因为淘宝大多数衣服是很难找到很多上身图的,所以数量还是尽量少些,不然没有商业化意义)张淘宝衣服上身图(就是模型穿着衣服的图片)

模型训练:1个模型lora,一个衣服lora

效果展示

1、直接把训练衣服的某个lora拿出来,看能否进行还原。有点那个意思

<lora:short_def-000010:1>, shirt_def, black_hair, brown_eyes, grey_background, holding, lips, looking_at_viewer, male_focus, mole, mole_under_eye, realistic, solo, upper_body

2、模特lora+衣服lora可以看到在scale为4.0的时候,效果已经挺不错了,但是衣服颜色有点浅;scale为7.0的时候,衣服颜色挺好的,但是人物有些抽象,这就需要详细来调节了

<lora:short_def-000010:0.5>, <lora:zhangliang-000010:0.5>, shirt_def, zhangliang_b, black_hair, brown_eyes

3、为了验证是不是衣服lora带来的效果,把衣服lora删除掉看下效果。可以看到模型穿着的衣服,确实和衣服lora有关

<lora:zhangliang-000010:0.5>, zhangliang_b, black_hair, brown_eyes

商业应用:减少商家在模特上的成本

创新应用:做一款app,比淘宝、京东、拼多多、唯品会更核心的功能是,用户看上某件衣服后,可以看到,这件衣服穿在自己的身上,然后在多个情境中(大街上、景点里)的图片、视频效果,这样就有了更好的体验

;