Update app.py

app.py

@@ -35,7 +35,7 @@ warnings.filterwarnings('ignore')
 logger.remove()
 logger.add(lambda msg: print(msg, flush=True), level="INFO")
 
-print("🎮 로봇 시각 시스템 초기화 (Gemma3-R1984-4B + Whisper + 10초 교대 녹음)...")
+print("🎮 로봇 시각 시스템 초기화 (Gemma3-R1984-4B + Whisper)...")
 
 ##############################################################################
 # 상수 정의
@@ -410,6 +410,20 @@ def pdf_to_markdown(pdf_path: str) -> str:
 
     return f"**[PDF 파일: {os.path.basename(pdf_path)}]**\n\n{full_text}"
 
+# 워커 스레드 시작
+audio_worker_thread = None
+
+def start_audio_worker():
+    """오디오 워커 스레드 시작"""
+    global audio_worker_thread
+    if audio_worker_thread is None or not audio_worker_thread.is_alive():
+        audio_worker_thread = Thread(target=audio_processing_worker, daemon=True)
+        audio_worker_thread.start()
+        logger.info("오디오 워커 스레드 시작됨")
+
+# 초기 시작
+start_audio_worker()
+
 ##############################################################################
 # 모델 로드
 ##############################################################################
@@ -753,7 +767,7 @@ with gr.Blocks(title="🤖 로봇 시각 시스템 (Gemma3-4B)", css=css) as dem
     gr.HTML("""
     <div class="robot-header">
         <h1>🤖 로봇 시각 시스템</h1>
-        <h3>🎮 Gemma3-R1984-4B + 📷 실시간 웹캠 + 🎤 10초 교대 음성 인식</h3>
+        <h3>🎮 Gemma3-R1984-4B + 📷 실시간 웹캠 + 🎤 음성 인식</h3>
         <p>⚡ 멀티모달 AI로 로봇 작업 분석!</p>
     </div>
     """)
@@ -792,9 +806,12 @@ with gr.Blocks(title="🤖 로봇 시각 시스템 (Gemma3-4B)", css=css) as dem
                     '<div class="audio-status">🎤 음성 인식: 비활성화</div>'
                 )
                 
-                # 버퍼 정보
-                buffer_info = gr.HTML(
-                    '<div class="buffer-info">A/B 버퍼 교대 녹음으로 끊김 없는 인식</div>'
+                # 녹음 인터페이스 (숨김 상태로 시작)
+                audio_recorder = gr.Audio(
+                    sources=["microphone"],
+                    type="numpy",
+                    label="🎤 10초 녹음",
+                    visible=False
                 )
                 
                 # 마지막 인식된 텍스트
@@ -818,9 +835,9 @@ with gr.Blocks(title="🤖 로봇 시각 시스템 (Gemma3-4B)", css=css) as dem
                 )
                 
                 use_audio_toggle = gr.Checkbox(
-                    label="🎤 음성 인식 사용 (10초 교대 녹음)",
+                    label="🎤 음성 인식 사용",
                     value=False,
-                    info="10초마다 교대로 녹음하여 끊김 없이 인식"
+                    info="10초마다 음성을 인식하여 분석에 포함"
                 )
             
             with gr.Row():
@@ -1097,8 +1114,7 @@ with gr.Blocks(title="🤖 로봇 시각 시스템 (Gemma3-4B)", css=css) as dem
         """오디오 스트림 콜백 - 버퍼에 누적"""
         try:
             if audio_chunk is not None:
-                # 디버깅을 위해 첫 몇 개 청크 확인
-                logger.info(f"오디오 청크 수신: {type(audio_chunk)}")
+                # 처음 몇 번만 로깅
                 accumulate_audio(audio_chunk)
         except Exception as e:
             logger.error(f"오디오 스트림 콜백 오류: {e}")
@@ -1186,55 +1202,63 @@ with gr.Blocks(title="🤖 로봇 시각 시스템 (Gemma3-4B)", css=css) as dem
     
     # 오디오 토글 이벤트
     def toggle_audio(enabled):
-        global audio_buffer_a, audio_buffer_b, current_buffer, last_transcription
+        global last_transcription, last_audio_data
         
         if enabled:
             # Whisper 모델 로드
             load_whisper()
             
-            # 워커 스레드 시작
-            start_audio_worker()
-            
-            # 버퍼 초기화
-            with audio_buffer_lock:
-                audio_buffer_a.clear()
-                audio_buffer_b.clear()
-                current_buffer = 'a'
+            # 초기화
+            with audio_lock:
                 last_transcription = ""
+                last_audio_data = None
             
             logger.info("오디오 인식 활성화됨")
             
             return (
-                gr.update(visible=True),  # audio_input 표시
-                '<div class="audio-status">🎤 음성 인식: 활성화됨 (10초 교대 녹음)</div>',
-                '<div class="buffer-info">버퍼 초기화 완료 - 녹음 시작</div>'
+                gr.update(visible=True),  # audio_recorder 표시
+                '<div class="audio-status">🎤 음성 인식: 활성화됨</div>'
             )
         else:
-            # 버퍼 초기화
-            with audio_buffer_lock:
-                audio_buffer_a.clear()
-                audio_buffer_b.clear()
+            # 초기화
+            with audio_lock:
                 last_transcription = ""
+                last_audio_data = None
             
             logger.info("오디오 인식 비활성화됨")
                 
             return (
-                gr.update(visible=False),  # audio_input 숨김
-                '<div class="audio-status">🎤 음성 인식: 비활성화</div>',
-                '<div class="buffer-info">A/B 버퍼 교대 녹음으로 끊김 없는 인식</div>'
+                gr.update(visible=False),  # audio_recorder 숨김
+                '<div class="audio-status">🎤 음성 인식: 비활성화</div>'
             )
     
     use_audio_toggle.change(
         fn=toggle_audio,
         inputs=[use_audio_toggle],
-        outputs=[audio_input, audio_status, buffer_info]
+        outputs=[audio_recorder, audio_status]
+    )
+    
+    # 오디오 녹음 완료 시 처리
+    def on_audio_recorded(audio_data):
+        """오디오 녹음 완료 시 자동 처리"""
+        if audio_data is not None:
+            logger.info("새 오디오 녹음 감지")
+            transcription = process_audio_recording(audio_data)
+            if transcription:
+                return transcription
+        return last_transcript.value
+    
+    audio_recorder.change(
+        fn=on_audio_recorded,
+        inputs=[audio_recorder],
+        outputs=[last_transcript]
     )
     
     # 타이머 틱 이벤트
     timer.tick(
         fn=auto_capture_and_analyze,
-        inputs=[webcam_state, task_prompt, use_web_search, enable_thinking, max_tokens, use_audio_toggle],
-        outputs=[captured_image, result_output, status_display, auto_capture_status, last_transcript, buffer_info]
+        inputs=[webcam_state, task_prompt, use_web_search, enable_thinking, max_tokens, use_audio_toggle, audio_recorder],
+        outputs=[captured_image, result_output, status_display, auto_capture_status, last_transcript, audio_recorder]
     )
     
     # 초기 모델 로드
@@ -1248,7 +1272,7 @@ with gr.Blocks(title="🤖 로봇 시각 시스템 (Gemma3-4B)", css=css) as dem
     )
 
 if __name__ == "__main__":
-    print("🚀 로봇 시각 시스템 시작 (Gemma3-R1984-4B + Whisper 10초 교대 녹음)...")
+    print("🚀 로봇 시각 시스템 시작 (Gemma3-R1984-4B + Whisper)...")
     demo.queue().launch(
         server_name="0.0.0.0",
         server_port=7860,