Update app.py

app.py

@@ -7,7 +7,7 @@ import torch
 from diffusers import AudioLDMPipeline
 from transformers import AutoProcessor, ClapModel, BlipProcessor, BlipForConditionalGeneration
 
-# Vérifier si une carte GPU est disponible
+# make Space compatible with CPU duplicates
 if torch.cuda.is_available():
     device = "cuda"
     torch_dtype = torch.float16
@@ -15,28 +15,28 @@ else:
     device = "cpu"
     torch_dtype = torch.float32
 
-# Charger le modèle AudioLDMPipeline
+# load the diffusers pipeline
 repo_id = "cvssp/audioldm-m-full"
 pipe = AudioLDMPipeline.from_pretrained(repo_id, torch_dtype=torch_dtype).to(device)
 pipe.unet = torch.compile(pipe.unet)
 
-# Charger le modèle CLAP pour la similarité audio-texte
+# CLAP model (only required for automatic scoring)
 clap_model = ClapModel.from_pretrained("sanchit-gandhi/clap-htsat-unfused-m-full").to(device)
 processor = AutoProcessor.from_pretrained("sanchit-gandhi/clap-htsat-unfused-m-full")
 
 generator = torch.Generator(device)
 
-# Charger le modèle Blip pour la description d'images
+# Charger le modèle et le processeur Blip pour la description d'images
 image_caption_processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
 image_caption_model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
 
-# Configuration de l'application Streamlit
+# Streamlit app setup
 st.set_page_config(
     page_title="Text to Media",
     page_icon="📷 🎵",
 )
 
-st.title("Générateur de Diaporama Vidéo avec Musique")
+st.title("Générateur de Diaporama Vidéo et Musique")
 
 # Sélectionnez les images
 uploaded_files = st.file_uploader("Sélectionnez des images (PNG, JPG, JPEG)", type=["png", "jpg", "jpeg"], accept_multiple_files=True)
@@ -65,12 +65,8 @@ if uploaded_files:
         except Exception as e:
             descriptions.append("Erreur lors de la génération de la légende")
 
-    # Affichez les images avec leurs descriptions
-    for i, image_path in enumerate(image_paths):
-        st.image(image_path, caption=f"Description : {descriptions[i]}", use_column_width=True)
-
     # Créez une vidéo à partir des images
-    st.header("Création d'une Diapositive Vidéo avec Musique")
+    st.header("Création d'une Diapositive Vidéo")
 
     # Sélectionnez la durée d'affichage de chaque image avec une barre horizontale (en secondes)
     image_duration = st.slider("Sélectionnez la durée d'affichage de chaque image (en secondes)", 1, 10, 4)
@@ -82,9 +78,6 @@ if uploaded_files:
 
     final_clip = concatenate_videoclips(image_clips, method="compose")
 
-    final_clip_path = os.path.join(temp_dir, "slideshow.mp4")
-    final_clip.write_videofile(final_clip_path, codec='libx264', fps=frame_rate)
-
     # Générez de la musique à partir des descriptions
     st.header("Génération de Musique à partir des Descriptions")
 
@@ -94,41 +87,26 @@ if uploaded_files:
 
     # Configuration de la musique
     seed = st.number_input("Seed", value=45)
-    duration = st.slider("Duration (seconds)", 2.5, 10.0, 5.0, 2.5)
-    guidance_scale = st.slider("Guidance scale", 0.0, 4.0, 2.5, 0.5)
-    n_candidates = st.slider("Number waveforms to generate", 1, 3, 3, 1)
-
-    def score_waveforms(text, waveforms):
-        inputs = processor(text=text, audios=list(waveforms), return_tensors="pt", padding=True)
-        inputs = {key: inputs[key].to(device) for key in inputs}
-        with torch.no_grad():
-            logits_per_text = clap_model(**inputs).logits_per_text  # il s'agit du score de similarité audio-texte
-            probs = logits_per_text.softmax(dim=-1)  # nous pouvons prendre le softmax pour obtenir les probabilités des étiquettes
-            most_probable = torch.argmax(probs)  # et maintenant sélectionner l'onde audio la plus probable
-        waveform = waveforms[most_probable]
-        return waveform
+    music_duration = image_duration * len(image_clips)  # Assurez-vous que la durée de la musique correspond à la vidéo
 
     if st.button("Générer de la musique"):
         waveforms = pipe(
             music_input,
-            audio_length_in_s=duration,
-            guidance_scale=guidance_scale,
+            audio_length_in_s=music_duration,
+            guidance_scale=2.5,  # Vous pouvez ajuster cette valeur
             num_inference_steps=100,
-            num_waveforms_per_prompt=n_candidates if n_candidates else 1,
+            num_waveforms_per_prompt=1,
             generator=generator.manual_seed(int(seed)),
         )["audios"]
 
-        if waveforms.shape[0] > 1:
-            waveform = score_waveforms(music_input, waveforms)
+        # Assurez-vous que la musique générée a la même durée que la vidéo
+        if len(waveforms[0]) > len(final_clip):
+            waveforms = waveforms[:, :len(final_clip)]
         else:
-            waveform = waveforms[0]
-
-        # Intégrer la musique dans la vidéo
-        final_clip = final_clip.set_audio(waveform)
+            final_clip = final_clip.set_duration(len(waveforms[0]))
 
-        # Afficher la vidéo mise à jour avec la musique
-        st.header("Vidéo avec Musique Générée")
-        video_with_music_path = os.path.join(temp_dir, "slideshow_with_music.mp4")
-        final_clip.write_videofile(video_with_music_path, codec='libx264', fps=frame_rate)
+        # Intégrez la musique dans la vidéo
+        final_clip = final_clip.set_audio(waveforms[0].numpy())
 
-        st.video(open(video_with_music_path, 'rb').read())
+        # Affichez la vidéo avec la musique intégrée
+        st.video(final_clip, format="video/mp4", start_time=0)