Update app.py

app.py

@@ -7,10 +7,6 @@ import torch
 from diffusers import AudioLDMPipeline
 from transformers import AutoProcessor, ClapModel, BlipProcessor, BlipForConditionalGeneration
 
-# Charger le modèle et le processeur Blip
-processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
-model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
-
 # make Space compatible with CPU duplicates
 if torch.cuda.is_available():
     device = "cuda"
@@ -26,10 +22,14 @@ pipe.unet = torch.compile(pipe.unet)
 
 # CLAP model (only required for automatic scoring)
 clap_model = ClapModel.from_pretrained("sanchit-gandhi/clap-htsat-unfused-m-full").to(device)
-audio_processor = AutoProcessor.from_pretrained("sanchit-gandhi/clap-htsat-unfused-m-full")
+processor = AutoProcessor.from_pretrained("sanchit-gandhi/clap-htsat-unfused-m-full")
 
 generator = torch.Generator(device)
 
+# Charger le modèle et le processeur Blip pour la description d'images
+image_caption_processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
+image_caption_model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
+
 # Streamlit app setup
 st.set_page_config(
     page_title="Text to Media",
@@ -55,16 +55,20 @@ if uploaded_files:
             f.write(uploaded_file.read())
         image_paths.append(image_path)
         
-        # Générer la légende pour chaque image
+        # Générez la légende pour chaque image
         try:
             image = Image.open(image_path).convert("RGB")
-            inputs = processor(image, return_tensors="pt")
-            out = model.generate(**inputs)
-            caption = processor.decode(out[0], skip_special_tokens=True)
+            inputs = image_caption_processor(image, return_tensors="pt")
+            out = image_caption_model.generate(**inputs)
+            caption = image_caption_processor.decode(out[0], skip_special_tokens=True)
             descriptions.append(caption)
         except Exception as e:
             descriptions.append("Erreur lors de la génération de la légende")
 
+    # Affichez les images avec leurs descriptions
+    for i, image_path in enumerate(image_paths):
+        st.image(image_path, caption=f"Description : {descriptions[i]}", use_column_width=True)
+
     # Générez de la musique à partir des descriptions
     st.header("Génération de Musique à partir des Descriptions")
 
@@ -79,7 +83,7 @@ if uploaded_files:
     n_candidates = st.slider("Number waveforms to generate", 1, 3, 3, 1)
 
     def score_waveforms(text, waveforms):
-        inputs = audio_processor(text=text, audios=list(waveforms), return_tensors="pt", padding=True)
+        inputs = processor(text=text, audios=list(waveforms), return_tensors="pt", padding=True)
         inputs = {key: inputs[key].to(device) for key in inputs}
         with torch.no_grad():
             logits_per_text = clap_model(**inputs).logits_per_text  # this is the audio-text similarity score
@@ -103,25 +107,31 @@ if uploaded_files:
         else:
             waveform = waveforms[0]
 
-        # Afficher le lecteur audio
+    # Afficher le lecteur audio
         st.audio(waveform, format="audio/wav", sample_rate=16000)
-
+    
     # Créer une vidéo à partir des images
-    st.header("Génération de Diaporama Vidéo")
+    if image_paths:
+        st.header("Génération du Diaporama Vidéo")
+        
+        output_video_path = os.path.join(temp_dir, "slideshow.mp4")
+
+        # Débit d'images par seconde (calculé en fonction de la durée de chaque image)
+        frame_rate = 1 / image_duration
+
+        image_clips = [ImageSequenceClip([image_path], fps=frame_rate, durations=[image_duration]) for image_path in image_paths]
+
+        final_clip = concatenate_videoclips(image_clips, method="compose")
+
+        final_clip.write_videofile(output_video_path, codec='libx264', fps=frame_rate)
 
-    # Sélectionnez la durée d'affichage de chaque image avec une barre horizontale (en secondes)
-    image_duration = st.slider("Sélectionnez la durée d'affichage de chaque image (en secondes)", 1, 10, 4)
+        # Afficher la vidéo
+        st.video(open(output_video_path, 'rb').read())
 
-    def create_video(images, output_path):
-        clips = [ImageSequenceClip(images, fps=1.0 / image_duration)]
-        final_clip = concatenate_videoclips(clips, method="compose")
-        final_clip.write_videofile(output_path, codec='libx264', fps=1.0 / image_duration)
+        # Supprimer le répertoire temporaire
+        for image_path in image_paths:
+            os.remove(image_path)
+        os.remove(output_video_path)
+        os.rmdir(temp_dir)
 
-    if st.button("Créer la vidéo"):
-        create_video(image_paths, "slideshow.mp4")
-        st.video("slideshow.mp4")
 
-    # Supprimer le répertoire temporaire
-    for image_path in image_paths:
-        os.remove(image_path)
-    os.rmdir(temp_dir)