Update ui/tabs.py

ui/tabs.py

@@ -23,7 +23,7 @@ def create_all_tabs(audio_service: AudioService, chat_service: ChatService,
                    streaming_voice_service: StreamingVoiceService,
                    hybrid_service: HybridStreamingService,
                    voice_coding_service: VoiceCodingService,
-                   sambanova_voice_service : SambanovaVoiceService
+                   sambanova_voice_service: SambanovaVoiceService
                    ):
     
     with gr.Tab("🎙️ Streaming Voice "):
@@ -31,9 +31,9 @@ def create_all_tabs(audio_service: AudioService, chat_service: ChatService,
     with gr.Tab("OpenAI Realtime"):
         create_openai_realtime_tab(hybrid_service)
     with gr.Tab("GemeniAI RealTime"):
-        create_gemini_realtime_tab()
+        create_gemini_realtime_tab()  # Đã sửa - không cần tham số
     with gr.Tab("SambonovaAI Realtime"):
-        create_sambanova_voice_tab()
+        create_sambanova_voice_tab(sambanova_voice_service)  # Thêm tham số nếu cần
     with gr.Tab("Generation Code"):
         create_voice_coding_tab(voice_coding_service)
     with gr.Tab("🎙️ Audio"):
@@ -51,16 +51,13 @@ def create_all_tabs(audio_service: AudioService, chat_service: ChatService,
     with gr.Tab("🔊 Text-to-Speech"):
         create_tts_tab(tts_service)
     
-    with gr.Tab("🌐 Language Info"):  # NEW TAB
+    with gr.Tab("🌐 Language Info"):
         create_language_info_tab(rag_system.multilingual_manager)
     with gr.Tab("Stream Object Detection"):
         create_streaming_object_detection()
 def create_gemini_realtime_tab():
     """Tạo tab cho Gemini Realtime API"""
     
-    # Khởi tạo service
-    gemini_service = GeminiRealtimeService()
-    
     with gr.Blocks() as gemini_tab:
         gr.Markdown("""
         # 🎯 Gemini Realtime API
@@ -117,130 +114,188 @@ def create_gemini_realtime_tab():
                         label="Gemini Chat",
                         type="messages",
                         height=400,
-                        show_copy_button=True
+                        show_copy_button=True,
+                        value=[]  # Khởi tạo giá trị mặc định
                     )
                 
-                # Audio interface
+                # Audio interface - Simplified for now
                 with gr.Group():
-                    gr.Markdown("### 🎤 Audio Streaming")
+                    gr.Markdown("### 🎤 Audio Streaming (Coming Soon)")
                     
-                    with gr.Row():
-                        start_audio_btn = gr.Button("🎙️ Bắt đầu nói", variant="primary")
-                        stop_audio_btn = gr.Button("⏹️ Dừng nói", variant="secondary")
+                    gr.Markdown("""
+                    **Tính năng audio realtime đang được phát triển**
+                    - 🎙️ Real-time voice recognition
+                    - 🔊 Real-time audio response  
+                    - ⚡ Low latency streaming
+                    """)
+                    
+                    # Tạm thời ẩn các nút audio
+                    # with gr.Row():
+                    #     start_audio_btn = gr.Button("🎙️ Bắt đầu nói", variant="primary", visible=False)
+                    #     stop_audio_btn = gr.Button("⏹️ Dừng nói", variant="secondary", visible=False)
                     
                     transcription_display = gr.Textbox(
                         label="Bạn nói",
                         interactive=False,
                         lines=2,
-                        placeholder="Văn bản nhận diện sẽ hiển thị ở đây..."
+                        placeholder="Tính năng audio đang được phát triển...",
+                        visible=False
                     )
                     
                     audio_output = gr.Audio(
                         label="Gemini trả lời",
                         interactive=False,
-                        autoplay=True
+                        autoplay=True,
+                        visible=False
                     )
         
         # State management
         connection_state = gr.State(value=False)
-        audio_stream_state = gr.State(value=False)
+        # audio_stream_state = gr.State(value=False)
+        
+        # Khởi tạo service (không khởi tạo global để tránh lỗi)
+        gemini_service = None
+        
+        async def initialize_gemini_service(api_key: str):
+            """Khởi tạo Gemini service"""
+            nonlocal gemini_service
+            try:
+                from services.gemini_realtime_service import GeminiRealtimeService
+                gemini_service = GeminiRealtimeService(api_key)
+                await gemini_service.initialize()
+                return True, "✅ Đã khởi tạo Gemini service"
+            except Exception as e:
+                return False, f"❌ Lỗi khởi tạo: {str(e)}"
         
-        # Callback function để xử lý events từ Gemini
         async def gemini_callback(data: dict):
             """Callback function để xử lý events từ Gemini service"""
             if data['type'] == 'status':
                 return data['message'], data['message']
             elif data['type'] == 'text':
-                # Cập nhật chatbot với response từ Gemini
-                current_messages = chatbot.value if hasattr(chatbot, 'value') else []
-                current_messages.append({"role": "assistant", "content": data['content']})
                 return f"📝 Gemini: {data['content']}", data['content']
             elif data['type'] == 'error':
                 return f"❌ Lỗi: {data['message']}", data['message']
             return "Unknown event", "Unknown event"
         
         # Event handlers for connection
-        async def connect_gemini(api_key: str, voice_name: str):
+        async def connect_gemini(api_key: str, voice_name: str, current_chat):
             """Kết nối đến Gemini Realtime API"""
             try:
                 if not api_key:
-                    return False, "❌ Vui lòng nhập API Key", "Chưa kết nối"
+                    return False, "❌ Vui lòng nhập API Key", "Chưa kết nối", current_chat
                 
-                # Khởi tạo và kết nối service
-                gemini_service.api_key = api_key
+                # Khởi tạo service
+                success, message = await initialize_gemini_service(api_key)
+                if not success:
+                    return False, message, "Lỗi khởi tạo", current_chat
+                
+                # Kết nối session
                 success = await gemini_service.start_session(
                     voice_name=voice_name, 
                     callback=gemini_callback
                 )
                 
                 if success:
-                    return True, "✅ Đã kết nối Gemini", f"Đang sử dụng giọng: {voice_name}"
+                    # Thêm message chào mừng
+                    new_chat = current_chat + [{"role": "assistant", "content": f"Xin chào! Tôi là Gemini AI với giọng {voice_name}. Hãy bắt đầu trò chuyện!"}]
+                    return True, "✅ Đã kết nối Gemini", f"Đang sử dụng giọng: {voice_name}", new_chat
                 else:
-                    return False, "❌ Không thể kết nối", "Lỗi kết nối"
+                    return False, "❌ Không thể kết nối Gemini", "Lỗi kết nối", current_chat
                 
             except Exception as e:
-                return False, f"❌ Lỗi kết nối: {str(e)}", "Lỗi kết nối"
+                return False, f"❌ Lỗi kết nối: {str(e)}", "Lỗi kết nối", current_chat
         
-        async def disconnect_gemini():
+        async def disconnect_gemini(current_chat):
             """Ngắt kết nối Gemini"""
-            await gemini_service.close()
-            return False, "🔌 Đã ngắt kết nối", "Ngắt kết nối"
-        
-        async def start_audio_stream():
-            """Bắt đầu stream audio"""
+            nonlocal gemini_service
+            if gemini_service:
+                await gemini_service.close()
+                gemini_service = None
+            
+            # Thêm message thông báo ngắt kết nối
+            new_chat = current_chat + [{"role": "assistant", "content": "Đã ngắt kết nối với Gemini."}]
+            return False, "🔌 Đã ngắt kết nối", "Ngắt kết nối", new_chat
+        
+        # Text chat functionality
+        async def send_text_message(message: str, history):
+            """Gửi tin nhắn text đến Gemini"""
+            if not gemini_service or not gemini_service.is_active:
+                return history, "❌ Chưa kết nối Gemini. Vui lòng kết nối trước."
+            
             try:
-                # Trong thực tế, ở đây sẽ tích hợp với audio input
-                return True, "🎙️ Đang nghe... Hãy bắt đầu nói"
+                # Thêm tin nhắn user vào history
+                new_history = history + [{"role": "user", "content": message}]
+                
+                # Gửi đến Gemini (sử dụng text fallback)
+                response_text = await gemini_service.send_text(message)
+                
+                if response_text:
+                    # Thêm response vào history
+                    new_history.append({"role": "assistant", "content": response_text})
+                    return new_history, f"✅ Đã nhận phản hồi ({len(response_text)} ký tự)"
+                else:
+                    error_msg = "❌ Không nhận được phản hồi từ Gemini"
+                    new_history.append({"role": "assistant", "content": error_msg})
+                    return new_history, error_msg
+                    
             except Exception as e:
-                return False, f"❌ Lỗi: {str(e)}"
+                error_msg = f"❌ Lỗi: {str(e)}"
+                new_history = history + [
+                    {"role": "user", "content": message},
+                    {"role": "assistant", "content": error_msg}
+                ]
+                return new_history, error_msg
         
-        async def stop_audio_stream():
-            """Dừng stream audio"""
-            return False, "⏹️ Đã dừng thu âm"
+        # Thêm text input cho chat
+        with gr.Row():
+            text_input = gr.Textbox(
+                label="Tin nhắn của bạn",
+                placeholder="Nhập tin nhắn và nhấn Enter...",
+                scale=4
+            )
+            send_text_btn = gr.Button("📤 Gửi", scale=1)
         
         # Connection events
         connect_btn.click(
             connect_gemini,
-            inputs=[api_key, voice_select],
-            outputs=[connection_state, status_display, connection_info]
+            inputs=[api_key, voice_select, chatbot],
+            outputs=[connection_state, status_display, connection_info, chatbot]
         )
         
         disconnect_btn.click(
             disconnect_gemini,
-            outputs=[connection_state, status_display, connection_info]
+            inputs=[chatbot],
+            outputs=[connection_state, status_display, connection_info, chatbot]
         )
         
-        # Audio events
-        start_audio_btn.click(
-            start_audio_stream,
-            outputs=[audio_stream_state, transcription_display]
+        # Text message events
+        send_text_btn.click(
+            send_text_message,
+            inputs=[text_input, chatbot],
+            outputs=[chatbot, connection_info]
         )
         
-        stop_audio_btn.click(
-            stop_audio_stream,
-            outputs=[audio_stream_state, transcription_display]
+        text_input.submit(
+            send_text_message,
+            inputs=[text_input, chatbot],
+            outputs=[chatbot, connection_info]
+        ).then(
+            lambda: "",  # Clear input
+            outputs=[text_input]
         )
         
-        # Đơn giản hóa JavaScript - chỉ sử dụng khi thực sự cần
+        # Đơn giản hóa JavaScript - sửa lỗi syntax
         gemini_tab.load(
             fn=None,
             inputs=[],
             outputs=[],
-            js="""
-            () => {
-                console.log('Gemini Realtime Tab Loaded');
-                // Simple initialization without complex JS
-                setTimeout(() => {
-                    const statusElement = document.querySelector('[data-testid="status-display"] textarea');
-                    if (statusElement) {
-                        statusElement.value = 'Tab Gemini đã sẵn sàng';
-                    }
-                }, 1000);
-            }
-            """
+            js="""function() { 
+                console.log('Gemini Realtime Tab Loaded Successfully'); 
+                return [];
+            }"""
         )
         
-        # Additional examples and instructions
+        # Hướng dẫn sử dụng
         with gr.Accordion("📖 Hướng dẫn sử dụng", open=False):
             gr.Markdown("""
             ### Cách sử dụng Gemini Realtime:
@@ -252,45 +307,24 @@ def create_gemini_realtime_tab():
             
             2. **Kết nối**:
                - Chọn giọng nói yêu thích
-               - Nhấn "Kết nối" để thiết lập session
+               - Nhấn **"Kết nối"** để thiết lập session
             
-            3. **Hội thoại**:
-               - Nhấn "Bắt đầu nói" để bắt đầu thu âm
-               - Gemini sẽ trả lời trong thời gian thực
-               - Nhấn "Dừng nói" để kết thúc
-            
-            ### Tính năng:
-            - 🎯 Hội thoại thời gian thực
-            - 🎙️ Nhận diện giọng nói
-            - 🔊 Phản hồi audio chất lượng cao
-            - ⚡ Độ trễ thấp
-            """)
-
-        # Demo functionality với text input
-        with gr.Accordion("🧪 Demo với Text Input", open=True):
-            demo_input = gr.Textbox(
-                label="Nhập tin nhắn demo",
-                placeholder="Nhập tin nhắn để test kết nối Gemini..."
-            )
-            demo_btn = gr.Button("Gửi tin nhắn demo")
-            demo_output = gr.Textbox(label="Kết quả")
+            3. **Trò chuyện**:
+               - Nhập tin nhắn vào ô text
+               - Nhấn **Enter** hoặc **"Gửi"** để gửi
+               - Gemini sẽ trả lời ngay lập tức
             
-            async def send_demo_message(message: str):
-                """Gửi tin nhắn demo đến Gemini"""
-                if not gemini_service.is_active:
-                    return "❌ Chưa kết nối Gemini. Vui lòng kết nối trước."
-                
-                try:
-                    # Ở đây có thể tích hợp với text chat của Gemini
-                    return f"✅ Đã gửi: {message} (Demo - chức năng text chat sẽ được tích hợp đầy đủ)"
-                except Exception as e:
-                    return f"❌ Lỗi: {str(e)}"
+            ### Tính năng hiện có:
+            - 💬 Text chat với Gemini
+            - 🔗 Kết nối realtime
+            - 🎯 Multiple voice options
+            - 📊 Status monitoring
             
-            demo_btn.click(
-                send_demo_message,
-                inputs=[demo_input],
-                outputs=[demo_output]
-            )
+            ### Tính năng sắp có:
+            - 🎙️ Real-time voice recognition
+            - 🔊 Real-time audio response
+            - ⚡ Low latency streaming
+            """)
     
     return gemini_tab