IMG2IMG+Repintura Parcial

Imagem para Imagem Básica

Img para Img pode ser ajustado baseado em Texto para Imagem, adicionando os nós "Load Image" e "VAE Encode".

Como a imagem de entrada é apenas uma imagem de pixel, ela não pode ser colocada diretamente no espaço latente. Portanto, requer um codificador VAE para codificar a imagem para que o espaço latente possa reconhecê-la. Aqui, o tamanho final da imagem gerada é consistente com a imagem original.

Empty Latent Image (Imagem Latente Vazia): O Texto para Imagem anterior deve remover ruído através do Empty Latent Image antes de gerar uma nova imagem. Agora que uma imagem foi adicionada, o Empty Latent Image não é mais necessário.

Fluxo de trabalho: Carregar uma Imagem → Selecionar Modelos → Inserir Prompts → Ajustar Parâmetros → Criar.

Parâmetros:

denoise: Equivalente à Força de Redução de Ruído, pode ser ajustado entre 0-1.

Usar Img2Img permite alterar estilos, reparar imagens, estender imagens, restauração em alta definição, etc.

Pré-processamento da Imagem

Você pode escalar ou cortar a imagem adicionando diferentes nós, ou escolher não adicionar nenhum.

Upscale Image/Upscale Image By: Ampliar a imagem.

ImageCrop: Cortar a imagem.

Repintura Parcial

Quatro Métodos: VAE Encode (for Inpainting), Set Latent Noise Mask, ControlNet Inpaint e CLIPSeg.

1. VAE Encode (for Inpainting) - Codificação VAE (para restauração de imagem)

Adicione VAE Encode (for Inpainting), conecte Mask, clique com o botão direito na imagem e selecione Open in MaskEditor para desenhar uma máscara. Se houver problemas com uma seção da máscara desenhada, você pode apagá-la mantendo pressionado o botão direito do mouse.

Fluxo de trabalho: Escolha um modelo similar à imagem original e insira prompts para a parte mascarada.

VAE Encode (for Inpainting): Equivalente à repintura, com maior aleatoriedade, e a área mascarada original não será preservada.

1. Set Latent Noise Mask (Definir Máscara de Ruído Latente)

Primeiro, codifique a imagem através do VAE para transformá-la em conteúdo reconhecível pelo espaço latente, depois regenere a área mascarada como conteúdo de ruído.

Set Latent Noise Mask: Irá se referir à imagem original para repintura, garantindo melhor compreensão do conteúdo gerado, com menor probabilidade de gerar imagens incorretas, sendo assim adequado para ajuste fino mantendo similaridade com a imagem original.

1. ControlNet Inpaint (Restauração de imagem com ControlNet)

Adicione o ControlNet, selecione o modelo Inpaint e pré-processe a imagem adequadamente (Inpaint Preprocessor).

Nota: Não esqueça de adicionar o codificador VAE para que a imagem possa entrar no espaço latente.

1. CLIPSeg (Segmentação de imagens baseada em texto usando o modelo CLIP)

Insira prompts para dividir automaticamente as áreas de máscara, eliminando a necessidade de pintura manual. Pode ser usado junto com Set Latent Noise Mask.

Parâmetros:

text: Insira a área que você quer repintar.

threshold: O nível de precisão do reconhecimento de conteúdo.

dilation_factor: O grau de difusão do reconhecimento de conteúdo.

Saída:

Heatmap Mask: Imagem de mapa de calor.

BW Mask: Imagem em preto e branco.

Você pode pré-visualizar as áreas de máscara reconhecidas separadamente.

Diferenças entre os quatro métodos de repintura:

1. VAE Encode (for Inpainting): Equivalente a apagar e repintar com maior aleatoriedade, adequado para geração do zero.

2. Set Latent Noise Mask: Irá se referir à imagem original para repintura, garantindo certa similaridade com a imagem original, adequado para ajuste fino.

3. ControlNet Inpaint: Relativamente estável e refinado.

4. CLIPSeg: Reconhece automaticamente as áreas de máscara, então não há necessidade de pintura manual, tornando-o mais conveniente.