Update app.py

app.py

@@ -7,10 +7,6 @@ import torch
 from diffusers import AudioLDMPipeline
 from transformers import AutoProcessor, ClapModel, BlipProcessor, BlipForConditionalGeneration
 
-# Charger le modèle et le processeur Blip pour la description d'images
-image_caption_processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
-image_caption_model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
-
 # make Space compatible with CPU duplicates
 if torch.cuda.is_available():
     device = "cuda"
@@ -30,6 +26,10 @@ processor = AutoProcessor.from_pretrained("sanchit-gandhi/clap-htsat-unfused-m-f
 
 generator = torch.Generator(device)
 
+# Charger le modèle et le processeur Blip pour la description d'images
+image_caption_processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
+image_caption_model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
+
 # Streamlit app setup
 st.set_page_config(
     page_title="Text to Media",
@@ -41,11 +41,8 @@ st.title("Générateur de Diaporama Vidéo et Musique")
 # Sélectionnez les images
 uploaded_files = st.file_uploader("Sélectionnez des images (PNG, JPG, JPEG)", type=["png", "jpg", "jpeg"], accept_multiple_files=True)
 
-# Sélection de la durée d'affichage de chaque image avec une barre horizontale (en secondes)
-image_duration = st.slider("Sélectionnez la durée d'affichage de chaque image (en secondes)", 1, 10, 4)
-
 if uploaded_files:
-    # Créer un répertoire temporaire pour stocker les images
+    # Créez un répertoire temporaire pour stocker les images
     temp_dir = tempfile.mkdtemp()
     
     # Enregistrez les images téléchargées dans le répertoire temporaire
@@ -58,7 +55,7 @@ if uploaded_files:
             f.write(uploaded_file.read())
         image_paths.append(image_path)
         
-        # Générer la légende pour chaque image
+        # Générez la légende pour chaque image
         try:
             image = Image.open(image_path).convert("RGB")
             inputs = image_caption_processor(image, return_tensors="pt")
@@ -68,31 +65,28 @@ if uploaded_files:
         except Exception as e:
             descriptions.append("Erreur lors de la génération de la légende")
 
-    # Afficher les images avec leurs descriptions
+    # Affichez les images avec leurs descriptions
     for i, image_path in enumerate(image_paths):
         st.image(image_path, caption=f"Description : {descriptions[i]}", use_column_width=True)
 
-    # Créer une vidéo à partir des images
-    if image_paths:
-        output_video_path = os.path.join(temp_dir, "slideshow.mp4")
+    # Créez une vidéo à partir des images
+    st.header("Création d'une Diapositive Vidéo")
 
-        # Débit d'images par seconde (calculé en fonction de la durée de chaque image)
-        frame_rate = 1 / image_duration
+    # Sélectionnez la durée d'affichage de chaque image avec une barre horizontale (en secondes)
+    image_duration = st.slider("Sélectionnez la durée d'affichage de chaque image (en secondes)", 1, 10, 4)
 
-        image_clips = [ImageSequenceClip([image_path], fps=frame_rate, durations=[image_duration]) for image_path in image_paths]
+    # Débit d'images par seconde (calculé en fonction de la durée de chaque image)
+    frame_rate = 1 / image_duration
 
-        final_clip = concatenate_videoclips(image_clips, method="compose")
+    image_clips = [ImageSequenceClip([image_path], fps=frame_rate, durations=[image_duration]) for image_path in image_paths]
 
-        final_clip.write_videofile(output_video_path, codec='libx264', fps=frame_rate)
+    final_clip = concatenate_videoclips(image_clips, method="compose")
 
-        # Afficher la vidéo
-        st.video(open(output_video_path, 'rb').read())
+    final_clip_path = os.path.join(temp_dir, "slideshow.mp4")
+    final_clip.write_videofile(final_clip_path, codec='libx264', fps=frame_rate)
 
-        # Supprimer le répertoire temporaire
-        for image_path in image_paths:
-            os.remove(image_path)
-        os.remove(output_video_path)
-        os.rmdir(temp_dir)
+    # Afficher la vidéo
+    st.video(open(final_clip_path, 'rb').read())
 
     # Générez de la musique à partir des descriptions
     st.header("Génération de Musique à partir des Descriptions")
@@ -103,24 +97,24 @@ if uploaded_files:
 
     # Configuration de la musique
     seed = st.number_input("Seed", value=45)
-    music_duration = st.slider("Durée de la musique (en secondes)", 10, 180, 60, 10)
+    duration = st.slider("Duration (seconds)", 2.5, 10.0, 5.0, 2.5)
     guidance_scale = st.slider("Guidance scale", 0.0, 4.0, 2.5, 0.5)
-    n_candidates = st.slider("Nombre de formes d'onde à générer", 1, 3, 3, 1)
+    n_candidates = st.slider("Number waveforms to generate", 1, 3, 3, 1)
 
     def score_waveforms(text, waveforms):
         inputs = processor(text=text, audios=list(waveforms), return_tensors="pt", padding=True)
         inputs = {key: inputs[key].to(device) for key in inputs}
         with torch.no_grad():
-            logits_per_text = clap_model(**inputs).logits_per_text
-            probs = logits_per_text.softmax(dim=-1)
-            most_probable = torch.argmax(probs)
+            logits_per_text = clap_model(**inputs).logits_per_text  # this is the audio-text similarity score
+            probs = logits_per_text.softmax(dim=-1)  # we can take the softmax to get the label probabilities
+            most_probable = torch.argmax(probs)  # and now select the most likely audio waveform
         waveform = waveforms[most_probable]
         return waveform
 
     if st.button("Générer de la musique"):
         waveforms = pipe(
             music_input,
-            audio_length_in_s=music_duration,
+            audio_length_in_s=duration,
             guidance_scale=guidance_scale,
             num_inference_steps=100,
             num_waveforms_per_prompt=n_candidates if n_candidates else 1,
@@ -132,17 +126,5 @@ if uploaded_files:
         else:
             waveform = waveforms[0]
 
-        # Sauvegardez la musique générée dans un fichier temporaire
-        music_temp_path = os.path.join(temp_dir, "generated_music.wav")
-        waveform.save(music_temp_path)
-
         # Afficher le lecteur audio
-        st.audio(open(music_temp_path, 'rb').read(), format="audio/wav", sample_rate=16000)
-
-        # Supprimer le répertoire temporaire
-        for image_path in image_paths:
-            os.remove(image_path)
-        os.remove(output_video_path)
-        os.remove(music_temp_path)
-        os.rmdir(temp_dir)
-
+        st.audio(waveform, format="audio/wav", sample_rate=16000)