Update app.py

app.py

@@ -59,14 +59,6 @@ def align_embeddings(prompt_embeds, negative_prompt_embeds):
     return torch.nn.functional.pad(prompt_embeds, (0, 0, 0, max_length - prompt_embeds.shape[1])), \
            torch.nn.functional.pad(negative_prompt_embeds, (0, 0, 0, max_length - negative_prompt_embeds.shape[1]))
 
-pipe_default = get_lora_sd_pipeline(lora_dir='./lora_man_animestyle', base_model_name_or_path=model_default, dtype=torch_dtype).to(device)
-#pipe_controlnet = StableDiffusionControlNetPipeline.from_pretrained(
-pipe_controlnet = StableDiffusionControlNetImg2ImgPipeline.from_pretrained(    
-    model_default,
-    controlnet=controlnet,
-    torch_dtype=torch_dtype
-).to(device)
-
 def preprocess_image(image, target_width, target_height): # Преобразует изображение в формат, подходящий для модели.
     if isinstance(image, np.ndarray):
         image = Image.fromarray(image)
@@ -76,6 +68,14 @@ def preprocess_image(image, target_width, target_height): # Преобразуе
     image = torch.from_numpy(image).to(device)
     return image
 
+pipe_default = get_lora_sd_pipeline(lora_dir='./lora_man_animestyle', base_model_name_or_path=model_default, dtype=torch_dtype).to(device)
+#pipe_controlnet = StableDiffusionControlNetPipeline.from_pretrained(
+pipe_controlnet = StableDiffusionControlNetImg2ImgPipeline.from_pretrained(    
+    model_default,
+    controlnet=controlnet,
+    torch_dtype=torch_dtype
+).to(device)
+
 def infer(
     prompt, 
     negative_prompt, 
@@ -91,12 +91,17 @@ def infer(
     control_strength=0.5,   # Сила влияния ControlNet
     cn_source_image=None,   # Исходное изображение ControlNet
     control_image=None,     # Контрольное изображение ControlNet
+    strength_ip=0.5,        # Коэфф. зашумления IP_adapter
+    use_ip_adapter=False,   # Параметр для включения IP_adapter
+    ip_adapter_strength=0.5,# Сила влияния IP_adapter
+    ip_source_image=None,   # Исходное изображение IP_adapter
+    ip_adapter_image=None,  # Контрольное изображение IP_adapter
     progress=gr.Progress(track_tqdm=True)
 ):
     generator = torch.Generator(device).manual_seed(seed)
 
     # Генерация с IP_adapter
-    if use_control_net and control_image is not None and cn_source_image is not None:
+    if use_ip_adapter and ip_source_image is not None and ip_adapter_image is not None:
         # pipe_controlnet = StableDiffusionControlNetImg2ImgPipeline.from_pretrained(    
         #     model_default,
         #     controlnet=controlnet,
@@ -104,10 +109,10 @@ def infer(
         # ).to(device)
         
         # Преобразуем изображения
-        cn_source_image = preprocess_image(cn_source_image, width, height)
-        control_image = preprocess_image(control_image, width, height)
+        ip_source_image = preprocess_image(ip_source_image, width, height)
+        ip_adapter_image = preprocess_image(ip_adapter_image, width, height)
         
-        # Создаём пайплайн ControlNet с LoRA, если он ещё не создан
+        # Создаём пайплайн IP_adapter с LoRA, если он ещё не создан   ???????????????????????????????????????????????????????????????
         if not hasattr(pipe_controlnet, 'lora_loaded') or not pipe_controlnet.lora_loaded:
             # Загружаем LoRA для UNet
             pipe_controlnet.unet = PeftModel.from_pretrained(
@@ -131,11 +136,11 @@ def infer(
             pipe_controlnet.fuse_lora(lora_scale=lora_scale)
             pipe_controlnet.lora_loaded = True  # Помечаем, что LoRA загружена
         
-        # Убедимся, что control_strength имеет тип float
-        control_strength = float(control_strength)
-        #strength_sn = float(strength_sn)
+        # Убедимся, что ip_adapter_strength имеет тип float
+        ip_adapter_strength = float(ip_adapter_strength)
+        #strength_ip = float(strength_ip)
         
-        # Используем ControlNet с LoRA
+        # Используем IP_adapter с LoRA  ????????????????????????????????????????????????????????????????????????
         pipe = pipe_controlnet
         prompt_embeds = long_prompt_encoder(prompt, pipe.tokenizer, pipe.text_encoder)
         negative_prompt_embeds = long_prompt_encoder(negative_prompt, pipe.tokenizer, pipe.text_encoder)
@@ -143,14 +148,14 @@ def infer(
         image = pipe_controlnet(
             prompt_embeds=prompt_embeds,
             negative_prompt_embeds=negative_prompt_embeds,
-            image=cn_source_image,     
-            control_image=control_image,  
-            strength=strength_cn, # Коэфф. зашумления, чем больше, тем больше меняется результирующее изображение относитенльно исходного
+            image=ip_source_image,     
+            control_image=ip_adapter_image,  
+            strength=strength_ip, # Коэфф. зашумления, чем больше, тем больше меняется результирующее изображение относитенльно исходного
             width=width,
             height=height,
             num_inference_steps=num_inference_steps,
             guidance_scale=guidance_scale,
-            controlnet_conditioning_scale=control_strength,
+            controlnet_conditioning_scale=ip_adapter_strength, # ???????????????????????????????????????????????????????????????
             generator=generator
         ).images[0]
     else:
@@ -444,6 +449,11 @@ with gr.Blocks(css=css) as demo:
             control_strength,  # Контроль силы ControlNet
             cn_source_image,   # Исходное изображение ControlNet
             control_image,     # Контрольное изображение ControlNet
+            strength_ip,        # Коэфф. зашумления IP_adapter
+            use_ip_adapter,     # Параметр для включения IP_adapter
+            ip_adapter_strength,# Сила влияния IP_adapter
+            ip_source_image,    # Исходное изображение IP_adapter
+            ip_adapter_image,   # Контрольное изображение IP_adapter
         ],
         outputs=[result],
     )