Update app.py

app.py

@@ -4,14 +4,11 @@ import os
 import json
 from collections import deque
 
-# 환경 변수에서 API 토큰 가져오기
 TOKEN = os.getenv("HUGGINGFACE_API_TOKEN")
 
-# API 토큰이 설정되어 있는지 확인
 if not TOKEN:
     raise ValueError("API token is not set. Please set the HUGGINGFACE_API_TOKEN environment variable.")
 
-# 대화 기록을 관리하는 큐 (최대 10개의 대화 기록을 유지)
 memory = deque(maxlen=10)
 
 def respond(
@@ -22,15 +19,11 @@ def respond(
     temperature=0.7,
     top_p=0.95,
 ):
-    # 시스템 메시지에 접두사 추가
     system_prefix = "System: 입력어의 언어(영어, 한국어, 중국어, 일본어 등)에 따라 동일한 언어로 답변하라."
     full_system_message = f"{system_prefix}{system_message}"
 
-    # 현재 대화 내용을 메모리에 추가
     memory.append((message, None))
-
     messages = [{"role": "system", "content": full_system_message}]
-    # 메모리에서 대화 기록을 가져와 메시지 목록에 추가
     for val in memory:
         if val[0]:
             messages.append({"role": "user", "content": val[0]})
@@ -46,28 +39,31 @@ def respond(
         "max_tokens": max_tokens,
         "temperature": temperature,
         "top_p": top_p,
-        "messages": messages
+        "messages": messages,
+        "stream": True  # 스트리밍 모드 활성화
     }
+    
     response = requests.post("https://api-inference.huggingface.co/v1/chat/completions", headers=headers, json=payload, stream=True)
     
-    # Stream 방식으로 데이터를 출력
-    response_text = ""
-    for chunk in response.iter_content(chunk_size=None):
+    partial_words = ""
+    for chunk in response.iter_lines():
         if chunk:
             chunk_data = chunk.decode('utf-8')
+            if chunk_data.startswith("data: "):
+                chunk_data = chunk_data[6:]  # "data: " 제거
             try:
                 response_json = json.loads(chunk_data)
-                # content 영역만 출력
                 if "choices" in response_json:
-                    content = response_json["choices"][0]["message"]["content"]
-                    response_text += content
-                    yield response_text  # 누적된 응답을 스트림 방식으로 반환
+                    delta = response_json["choices"][0].get("delta", {})
+                    if "content" in delta:
+                        content = delta["content"]
+                        partial_words += content
+                        yield partial_words
             except json.JSONDecodeError:
-                continue  # 유효하지 않은 JSON이 있을 경우 무시하고 다음 청크로 넘어감
+                continue
 
 theme = "Nymbo/Nymbo_Theme"
 
-# Gradio ChatInterface 설정
 demo = gr.ChatInterface(
     fn=respond,
     theme=theme,