Update app.py

app.py

@@ -1,14 +1,15 @@
 import gradio as gr
 import pandas as pd
+import librosa
+import numpy as np
 from sentence_transformers import SentenceTransformer, util
-from kiwipiepy import Kiwi
+from transformers import pipeline
 
-# 모델 및 데이터 로드
-model = SentenceTransformer("jhgan/ko-sroberta-multitask")
-kiwi = Kiwi()
+# 모델 로드 (Hugging Face 서버에서 실행됨)
+stt_model = pipeline("automatic-speech-recognition", model="openai/whisper-tiny") # 빠른 속도를 위해 tiny 사용
+sbert_model = SentenceTransformer("jhgan/ko-sroberta-multitask")
 df = pd.read_csv("book_db_final.csv")
 
-# 감정 설명 (기존 analyzer.py 로직)
 _EMOTION_DESCS = {
     "기쁨": "행복하고 즐겁고 유쾌한 기분",
     "신뢰": "따뜻하고 안정적이며 가족과 우정 같은 유대감",
@@ -19,29 +20,56 @@ _EMOTION_DESCS = {
     "분노": "분노와 저항, 투쟁과 갈등",
     "기대": "성장과 도전, 모험과 희망",
 }
-_LABEL_EMBS = model.encode(list(_EMOTION_DESCS.values()), convert_to_tensor=True)
+_LABEL_EMBS = sbert_model.encode(list(_EMOTION_DESCS.values()), convert_to_tensor=True)
 
-def recommend(text):
-    # 1. 감정 분석
-    user_emb = model.encode(text, convert_to_tensor=True)
+def process_voice_and_recommend(text_input, audio_input):
+    # 1. 음성 데이터가 있으면 STT로 텍스트 변환
+    final_text = text_input
+    if audio_input is not None:
+        sr, y = audio_input
+        y = y.astype(np.float32)
+        y /= np.max(np.abs(y)) if np.max(np.abs(y)) > 0 else 1
+        
+        # Whisper 모델로 음성을 텍스트로 변환
+        stt_result = stt_model({"sampling_rate": sr, "raw": y})
+        final_text = stt_result["text"]
+
+    if not final_text:
+        return "텍스트를 입력하거나 음성을 녹음해주세요.", ""
+
+    # 2. 감정 분석
+    user_emb = sbert_model.encode(final_text, convert_to_tensor=True)
     scores = util.cos_sim(user_emb, _LABEL_EMBS)[0]
     best_emo = list(_EMOTION_DESCS.keys())[scores.argmax()]
     
-    # 2. 도서 추천 (해당 감정 카테고리에서 상위 3권)
+    # 3. 도서 추천
     recs = df[df["emotion"] == best_emo].head(3)
+    result_text = f"🎨 분석된 문장: \"{final_text}\"\n🎭 감정: {best_emo}\n\n"
     
-    result_text = f"🎨 분석된 감정: {best_emo}\n\n"
+    book_list = ""
     for _, row in recs.iterrows():
-        result_text += f"📖 {row['title']}\n🔗 {row['url']}\n\n"
+        book_list += f"📖 {row['title']}\n🔗 {row['url']}\n\n"
     
-    return result_text
-
-# Gradio 인터페이스 설정
-demo = gr.Interface(
-    fn=recommend, 
-    inputs=gr.Textbox(label="지금 기분이 어떠신가요?", placeholder="오늘 공부하느라 너무 지치네요..."), 
-    outputs=gr.Textbox(label="추천 결과"),
-    title="Boolook: 마음을 읽는 책 추천"
-)
+    return result_text, book_list
+
+# 인터페이스 구성
+with gr.Blocks() as demo:
+    gr.Markdown("# 📚 Boolook: 음성 기반 마음 분석 책 추천")
+    
+    with gr.Row():
+        with gr.Column():
+            text_in = gr.Textbox(label="직접 입력", placeholder="오늘 기분이 어떠신가요?")
+            audio_in = gr.Audio(label="마이크 녹음", sources=["microphone"])
+            submit_btn = gr.Button("분석 및 추천받기")
+            
+        with gr.Column():
+            analysis_out = gr.Textbox(label="분석 결과")
+            books_out = gr.Textbox(label="추천 도서 리스트")
+
+    submit_btn.click(
+        fn=process_voice_and_recommend,
+        inputs=[text_in, audio_in],
+        outputs=[analysis_out, books_out]
+    )
 
 demo.launch()