一、AI换装技术博客
1. 项目介绍
IDM-VTON 是一个虚拟试衣模型,可以在 ComfyUI 中进行部署。相比于其他虚拟试衣模型,如 OOTDiffusion,IDM-VTON 提升了图像保真度和细节保留,更强调真实感,而且就算是侧面的模特或者背面的模特都能上身,已经完全达到了商用的水平。该项目简化了部署过程,是一个不错的选择。
项目地址
GitHub项目地址:https://github.com/TemryL/ComfyUI-IDM-VTON
Huggingface模型地址:https://huggingface.co/yisol/IDM-VTON
体验地址:https://pcai.wailikeji.com
2.配置要求
显存:建议 16G 以上,12G 也可以运行但速度较慢。
模型下载:第一次运行工作流时模型会自动下载,约 26G。请确保网络环境良好并设置好代理。
3. 插件安装与模型下载
3.1插件安装
在 ComfyUI 中部署 IDM-VTON 的过程较为简单。首先,在管理器中搜索 “ComfyUI-IDM-VTON” 并进行安装。安装完成后重启 ComfyUI 即可。
3.2模型下载
下载地址 :
https://huggingface.co/yisol/IDM-VTON/tree/main
下载到的目录:
二、使用教程
1. 工作流配置
IDM-VTON 的主要工作流涉及使用 segment anything 插件来对衣服进行遮罩,然后用 IDM-VTON 对遮罩区域的衣服进行替换。为了更好地控制人物姿势,还可以使用 ControlNet 插件。
2. 辅助插件安装
在 ComfyUI 管理器中安装segment anything和ControlNet插件。同上面安装ComfyUI-IDM-VTON一样,通过管理器进行安装,此处不再赘述。
3. 配置提示词
在提示词中指定需要进行蒙版遮罩的部位。例如,要替换上半身的T恤,在提示词中写 “T-shirt” 或 “shirt” 即可,如果shirt识别不出来,也可以试下用”clothing”。
4. 精度设置
根据本地配置选择合适的精度:
bfloat16:最省内存且速度最快,但精度有所损失。
float16:平衡内存和精度。
float32:最高精度,但内存消耗大。
三、示例效果
1. 更换T恤
通过配置正面提示词,上传衣服图片,生成的效果如下:
侧面效果也很好噢!这个就是与OOTDiffusion的区别所在!
2. 更换牛仔裤
同样的流程,可以轻松更换下半身的牛仔裤:
3. 手动遮罩
如果 segment anything 插件无法满足需求,可以手动画遮罩。加载图像后,右键点击图片,在遮罩编辑器中打开进行编辑。
手动绘制遮罩后效果展示:
四、Comfyui工作流与绘图应用源码获取
对应的工作流我也已经整理好了!一个是自动换装,一个是手动换装!
我们项目中也接入了IDM-VTON的ai换装工作流。绘图中接入了comfyui、dalle、mj实现了电商换装、换脸、ai抠图、图片变高清、智能扩图、艺术二维码等功能。另外还接入了国内外各大平台的gpt聊天模型,使用milvus作为向量数据库,可上传知识库文档。
项目体验地址:https://pcai.wailikeji.com/