persist finhsi job

pages/1_🎧_Transcriptions.py

@@ -15,42 +15,51 @@ ANNOTATIONS_PREFIX = "annotations"
 
 import s3fs
 
-
-
 fs = s3fs.S3FileSystem(
     key=AWS_ACCESS_KEY_ID,
     secret=AWS_SECRET_ACCESS_KEY,
-    client_kwargs= {"endpoint_url": ENDPOINT_URL}
-    )
-
+    client_kwargs={"endpoint_url": ENDPOINT_URL}
+)
 
 if not all([S3_BUCKET, S3_PREFIX, AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, ENDPOINT_URL]):
     st.error("Veuillez configurer correctement les variables d'environnement S3.")
     st.stop()
 
-# Fonction pour vérifier les titres complètement traités
 def get_completed_titles():
     """Renvoie la liste des titres qui n'ont plus d'audios à traiter."""
-    status_file = "title_completion_status.json"
+    status_file = f"{S3_BUCKET}/title_completion_status.json"
     
-    if os.path.exists(status_file):
-        with open(status_file, 'r') as f:
+    try:
+        with fs.open(status_file, 'r') as f:
             status = json.load(f)
         return [title for title, is_completed in status.items() if is_completed]
-    else:
+    except (FileNotFoundError, json.JSONDecodeError):
         return []
 
 def save_title_completion_status(title, is_completed):
     """Sauvegarde l'état de traitement d'un titre dans un fichier JSON."""
-    status_file = "title_completion_status.json"
+    status_file = f"{S3_BUCKET}/title_completion_status.json"
     
-    with fs.open(status_file, 'r') as f:
-        status = json.load(f)
+    try:
+        if fs.exists(status_file):
+            with fs.open(status_file, 'r') as f:
+                status = json.load(f)
+        else:
+            status = {}
+    except Exception as e:
+        st.warning(f"Erreur lors de la lecture du statut: {e}")
+        status = {}
     
     status[title] = is_completed
+    print(f"Mise à jour du statut pour {title}: {is_completed}")
+    print(f"Statut complet: {status}")
     
-    with fs.open(status_file, 'w') as f:
-        json.dump(status, f)
+    try:
+        with fs.open(status_file, 'w') as f:
+            json.dump(status, f)
+        print(f"Statut sauvegardé avec succès dans {status_file}")
+    except Exception as e:
+        st.error(f"Erreur lors de la sauvegarde du statut: {e}")
 
 st.set_page_config(page_title="Travaux Audio", layout="wide")
 st.title("🗣️ Travaux Audio - Transcription & Traduction")
@@ -93,16 +102,17 @@ if st.button("👋 Changer d'utilisateur"):
     st.session_state.current_username = ""
     st.rerun()
 
-# Charger les titres disponibles
-audio_titles = list_audio_files_by_title()
+if "audio_titles" not in st.session_state:
+    st.session_state.audio_titles = list_audio_files_by_title()
+
+audio_titles = st.session_state.audio_titles
 if not audio_titles:
     st.warning("Aucun audio disponible pour l'instant.")
     st.stop()
 
-# Obtenir les titres globalement terminés
 globally_completed_titles = get_completed_titles()
+print(f"Titres globalement terminés: {globally_completed_titles}")
 
-# Filtrer les titres pour exclure ceux qui sont déjà terminés
 available_titles = [title for title in audio_titles.keys() 
                    if title not in st.session_state.completed_titles
                    and title not in globally_completed_titles]
@@ -125,34 +135,33 @@ selected_title = st.selectbox(
 st.session_state["selected_title"] = selected_title
 audio_paths = audio_titles[selected_title]
 
-# Récupérer les fichiers déjà traités pour ce titre et cet utilisateur
 processed_files = get_processed_audio_files_by_user_and_title(username, selected_title)
+print(f"Fichiers déjà traités pour {username} et {selected_title}: {processed_files}")
 
-# Filtrer la liste des audios pour ne garder que ceux non traités
 unprocessed_audio_paths = [path for path in audio_paths if os.path.basename(path) not in processed_files]
+print(f"Fichiers non traités: {len(unprocessed_audio_paths)} sur {len(audio_paths)}")
 
 if not unprocessed_audio_paths:
     st.success(f"🎉 Vous avez déjà terminé tous les audios du groupe '{selected_title}'!")
     st.session_state.completed_titles.add(selected_title)
     
-    # Vérifier si ce titre est complètement traité par tous les utilisateurs
-    # Cela nécessite une fonction qui vérifie si tous les audios de ce titre ont des annotations
     all_files_processed = True
     for audio_path in audio_paths:
         audio_filename = os.path.basename(audio_path)
-        annotation_path = f"{ANNOTATIONS_PREFIX}/{selected_title}/{audio_filename}.json"
-        if not os.path.exists(annotation_path):
+        annotation_path = f"{S3_BUCKET}/{ANNOTATIONS_PREFIX}/{selected_title}/{audio_filename}.json"
+        if not fs.exists(annotation_path):
             all_files_processed = False
+            print(f"Fichier non annoté: {annotation_path}")
             break
     
     if all_files_processed:
+        print(f"Tous les fichiers du titre {selected_title} sont annotés")
         save_title_completion_status(selected_title, True)
     
     if st.button("Continuer avec un autre groupe (Terminé)"):
         st.rerun()
     st.stop()
 
-# Initialiser l'index de l'audio pour le titre sélectionné (ou reprendre la progression)
 index_key = f"index_{selected_title}"
 if index_key not in st.session_state:
     st.session_state[index_key] = 0
@@ -163,8 +172,11 @@ current_index = st.session_state[index_key]
 
 if unprocessed_audio_paths:
     current_audio = unprocessed_audio_paths[current_index]
-    st.subheader(f"🎧 Audio {current_index + 1} sur {len(unprocessed_audio_paths)} : {current_audio.split('/')[-1]}")
-    st.audio(get_audio_url(current_audio))
+    st.subheader(f"🎧 Audio {current_index + 1} sur {len(unprocessed_audio_paths)} : {os.path.basename(current_audio)}")
+    
+    audio_url = get_audio_url(current_audio)
+    
+    st.audio(audio_url)
 
     with st.form(f"form_{current_audio}"):
         transcription = st.text_area("Transcription en mooré", key=f"tr_{current_audio}")
@@ -172,38 +184,32 @@ if unprocessed_audio_paths:
         submitted = st.form_submit_button("💾 Soumettre")
 
         if submitted:
-            save_annotation(
-                audio_path=current_audio,
-                user=username,
-                transcription=transcription,
-                traduction=traduction,
-            )
-            st.success("✅ Contribution enregistrée avec succès !")
-            st.session_state[index_key] += 1
-
-            # Vérifier si tous les audios non traités de ce groupe sont maintenant terminés
-            if st.session_state[index_key] >= len(unprocessed_audio_paths):
-                st.success(f"🎉 Vous avez terminé tous les audios du groupe '{selected_title}'!")
-                st.session_state.completed_titles.add(selected_title)
+            try:
+                save_result = save_annotation(
+                    audio_path=current_audio,
+                    user=username,
+                    transcription=transcription,
+                    traduction=traduction,
+                )
+                st.success("✅ Contribution enregistrée avec succès !")
+                print(f"Résultat de sauvegarde: {save_result}")
                 
-                # Vérifier si ce titre est maintenant complètement traité par tous
-                all_files_processed = True
-                for audio_path in audio_paths:
-                    audio_filename = os.path.basename(audio_path)
-                    annotation_path = f"{ANNOTATIONS_PREFIX}/{selected_title}/{audio_filename}.json"
-                    if not os.path.exists(annotation_path):
-                        all_files_processed = False
-                        break
-                
-                if all_files_processed:
+                st.session_state[index_key] += 1
+
+                if st.session_state[index_key] >= len(unprocessed_audio_paths):
+                    st.success(f"🎉 Vous avez terminé tous les audios du groupe '{selected_title}'!")
+                    st.session_state.completed_titles.add(selected_title)
+                    
                     save_title_completion_status(selected_title, True)
-            else:
-                st.rerun()
-    # Bouton pour continuer après avoir potentiellement terminé un groupe (hors du formulaire)
+                else:
+                    st.rerun()
+            except Exception as e:
+                st.error(f"Erreur lors de l'enregistrement: {e}")
+    
     if st.session_state[index_key] >= len(unprocessed_audio_paths) and st.button("Continuer avec un autre groupe"):
         st.rerun()
 
 else:
     st.info(f"Il ne reste plus d'audios à traiter pour le groupe '{selected_title}'.")
     if st.button("Choisir un autre groupe"):
-        st.rerun()
+        st.rerun()