Imagen a imagen+Repintado parcial

Flujo básico de Imagen a Imagen

Imagen a imgen se puede ajustar en base a Texto a imagen, añadiendo los nodos “Cargar imagen” y “Codificar VAE”.

Dado que la imagen de entrada es simplemente una imagen de píxeles, no se puede colocar directamente en el espacio latente. Por lo tanto, requiere un codificador VAE para codificar la imagen de modo que el espacio latente pueda reconocerla. Aquí, el tamaño final de la imagen generada es coherente con la imagen original.

Empty Latent Image: El flujo de trabajo anterior de Texto a imagen requiere denoise a través de Empty Latent Image antes de generar una nueva imagen. Ahora que se ha añadido una imagen, Empty Latent Image ya no es necesario.

Flujo de trabajo: Subir una imagen → Seleccionar modelos → Ingresar prompts → Ajustar parámetros → Generar.

Parámetros:

Eliminación de ruido: Equivalente a la intensidad de eliminación de ruido (Denoising Strength), puede ajustarse entre 0-1.

El uso de la función Imagen a imagen permite cambiar estilos, reparar imágenes, ampliar imágenes, restaurar en alta definición, etc.

Preprocesamiento de imagen

Puede escalar o recortar la imagen añadiendo diferentes nodos, o elegir no añadir ninguno.

Upscale Image/Upscale Image By: Amplía la imagen.

ImageCrop: Recorta la imagen.

Repintado parcial

Cuatro métodos: VAE Encode (para Inpainting), Set Latent Noise Mask, ControlNet Inpaint y CLIPSeg.

1. VAE Encode (para Inpainting)

Añade VAE Encode (para Inpainting), conecta Mask, haz clic derecho sobre la imagen y selecciona Open in MaskEditor para dibujar una máscara. Si hay problemas con una parte de la máscara dibujada, puedes borrarla manteniendo presionado el botón derecho del ratón.

Flujo de trabajo: Elige un modelo similar a la imagen original e ingresa prompts para la parte enmascarada.

VAE Encode (para Inpainting): Equivale a repintado, con mayor aleatoriedad, y la zona enmascarada original no se conservará.

1. Set Latent Noise Mask

Primero, codifica la imagen mediante VAE para convertirla en contenido reconocible por el espacio latente, luego regenera el área enmascarada como contenido de ruido.

Set Latent Noise Mask: Se referirá a la imagen original para el repintado, lo que garantiza una mejor comprensión del contenido generado, con una menor probabilidad de generar imágenes incorrectas, por lo que resulta adecuado para el ajuste fino manteniendo la similitud con la imagen original.

1. ControlNet Inpaint

Añade ControlNet, selecciona el modelo Inpaint y preprocesa la imagen en consecuencia (Preprocesador de Inpaint).

Nota: No olvides añadir el codificador VAE para que la imagen pueda entrar en el espacio latente.

1. CLIPSeg

Ingresa prompts para dividir automáticamente las áreas de la máscara, eliminando la necesidad de pintar manualmente. Puede utilizarse junto con Set Latent Noise Mask.

Parámetros:

text: Ingresa el área que deseas repintar.

threshold: Nivel de precisión del reconocimiento de contenido.

dilation_factor: El grado de difusión del reconocimiento de contenido.

Salida:

Heatmap Mask: Imagen de mapa de calor.

BW Mask: Imagen en blanco y negro.

Puedes previsualizar por separado las áreas de máscara reconocidas.

Diferencias entre los cuatro métodos de repintado:

1. VAE Encode (for Inpainting): Equivale a borrar y repintar con mayor aleatoriedad, adecuado para generar desde cero.

2. Set Latent Noise Mask: Hará referencia a la imagen original para repintar, asegurando cierta similitud con la imagen original, adecuado para ajustes finos.

3. ControlNet Inpaint: Relativamente estable y refinado.

4. CLIPSeg: Reconoce automáticamente las áreas de máscara, por lo que no es necesario pintar manualmente, lo que lo hace más conveniente.