Update app.py

app.py

@@ -32,74 +32,76 @@ st.set_page_config(
     page_icon="📷 🎵",
 )
 
-# Créer des onglets pour choisir l'option
-selected_option = st.selectbox("Sélectionnez l'option", ("Générer un diaporama vidéo", "Générer de la musique"))
-
-if selected_option == "Générer un diaporama vidéo":
-    st.title("Diaporama Vidéo à partir d'Images avec Descriptions")
-
-    # Sélection de plusieurs fichiers image
-    uploaded_files = st.file_uploader("Sélectionnez des images (PNG, JPG, JPEG)", type=["png", "jpg", "jpeg"], accept_multiple_files=True)
-
-    # Sélection de la durée d'affichage de chaque image avec une barre horizontale (en secondes)
-    image_duration = st.slider("Sélectionnez la durée d'affichage de chaque image (en secondes)", 1, 10, 4)
-
-    if uploaded_files:
-        # Créer un répertoire temporaire pour stocker les images
-        temp_dir = tempfile.mkdtemp()
+st.title("Générateur de Diaporama Vidéo et Musique")
+
+# Sélectionnez les images
+uploaded_files = st.file_uploader("Sélectionnez des images (PNG, JPG, JPEG)", type=["png", "jpg", "jpeg"], accept_multiple_files=True)
+
+if uploaded_files:
+    # Créez un répertoire temporaire pour stocker les images
+    temp_dir = tempfile.mkdtemp()
+    
+    # Enregistrez les images téléchargées dans le répertoire temporaire
+    image_paths = []
+    descriptions = []  # Pour stocker les descriptions générées
+    
+    for i, uploaded_file in enumerate(uploaded_files):
+        image_path = os.path.join(temp_dir, uploaded_file.name)
+        with open(image_path, 'wb') as f:
+            f.write(uploaded_file.read())
+        image_paths.append(image_path)
         
-        # Enregistrez les images téléchargées dans le répertoire temporaire
-        image_paths = []
-        descriptions = []  # Pour stocker les descriptions générées
-        
-        for i, uploaded_file in enumerate(uploaded_files):
-            image_path = os.path.join(temp_dir, uploaded_file.name)
-            with open(image_path, 'wb') as f:
-                f.write(uploaded_file.read())
-            image_paths.append(image_path)
-            
-            # Générer la légende pour chaque image
-            try:
-                image = Image.open(image_path).convert("RGB")
-                inputs = processor(image, return_tensors="pt")
-                out = model.generate(**inputs)
-                caption = processor.decode(out[0], skip_special_tokens=True)
-                descriptions.append(caption)
-            except Exception as e:
-                descriptions.append("Erreur lors de la génération de la légende")
-
-        # Afficher les images avec leurs descriptions
-        for i, image_path in enumerate(image_paths):
-            st.image(image_path, caption=f"Description : {descriptions[i]}", use_column_width=True)
-        
-        # Créer une vidéo à partir des images
-        if image_paths:
-            output_video_path = os.path.join(temp_dir, "slideshow.mp4")
-
-            # Débit d'images par seconde (calculé en fonction de la durée de chaque image)
-            frame_rate = 1 / image_duration
-
-            image_clips = [ImageSequenceClip([image_path], fps=frame_rate, durations=[image_duration]) for image_path in image_paths]
-
-            final_clip = concatenate_videoclips(image_clips, method="compose")
-
-            final_clip.write_videofile(output_video_path, codec='libx264', fps=frame_rate)
-
-            # Afficher la vidéo
-            st.video(open(output_video_path, 'rb').read())
-
-            # Supprimer le répertoire temporaire
-            for image_path in image_paths:
-                os.remove(image_path)
-            os.remove(output_video_path)
-            os.rmdir(temp_dir)
-
-elif selected_option == "Générer de la musique":
-    st.title("Générateur de Musique à partir de Texte")
-
-    text_input = st.text_input("Input text", "A hammer is hitting a wooden surface")
-    negative_prompt = st.text_input("Negative prompt", "low quality, average quality")
-
-    st.markdown("### Configuration")
+        # Générez la légende pour chaque image
+        try:
+            image = Image.open(image_path).convert("RGB")
+            inputs = processor(image, return_tensors="pt")
+            out = model.generate(**inputs)
+            caption = processor.decode(out[0], skip_special_tokens=True)
+            descriptions.append(caption)
+        except Exception as e:
+            descriptions.append("Erreur lors de la génération de la légende")
+
+    # Affichez les images avec leurs descriptions
+    for i, image_path in enumerate(image_paths):
+        st.image(image_path, caption=f"Description : {descriptions[i]}", use_column_width=True)
+
+    # Générez de la musique à partir des descriptions
+    st.header("Génération de Musique à partir des Descriptions")
+
+    # Utilisez les descriptions générées pour la musique
+    music_input = "\n".join(descriptions)
+    st.text_area("Descriptions pour la musique", music_input, height=200)
+
+    # Configuration de la musique
     seed = st.number_input("Seed", value=45)
-    duration = st.slider("Duration (seconds)", 2.5, 10.0, 5.0, 2.5)
+    duration = st.slider("Duration (seconds)", 2.5, 10.0, 5.0, 2.5)
+    guidance_scale = st.slider("Guidance scale", 0.0, 4.0, 2.5, 0.5)
+    n_candidates = st.slider("Number waveforms to generate", 1, 3, 3, 1)
+
+    def score_waveforms(text, waveforms):
+        inputs = processor(text=text, audios=list(waveforms), return_tensors="pt", padding=True)
+        inputs = {key: inputs[key].to(device) for key in inputs}
+        with torch.no_grad():
+            logits_per_text = clap_model(**inputs).logits_per_text  # this is the audio-text similarity score
+            probs = logits_per_text.softmax(dim=-1)  # we can take the softmax to get the label probabilities
+            most_probable = torch.argmax(probs)  # and now select the most likely audio waveform
+        waveform = waveforms[most_probable]
+        return waveform
+
+    if st.button("Générer de la musique"):
+        waveforms = pipe(
+            music_input,
+            audio_length_in_s=duration,
+            guidance_scale=guidance_scale,
+            num_inference_steps=100,
+            num_waveforms_per_prompt=n_candidates if n_candidates else 1,
+            generator=generator.manual_seed(int(seed)),
+        )["audios"]
+
+        if waveforms.shape[0] > 1:
+            waveform = score_waveforms(music_input, waveforms)
+        else:
+            waveform = waveforms[0]
+
+        # Afficher le lecteur audio
+        st.audio(waveform, format="audio/wav", sample_rate=16000)