Update app.py

app.py

@@ -6,15 +6,25 @@ import spaces
 import transformers
 from transformers import pipeline
 
-# 모델과 토크나이저 로딩
-model_name = "Qwen/Qwen2-1.5B-Instruct"
-if gr.NO_RELOAD:
-    pipe = pipeline(
-        "text-generation",
-        model=model_name,
-        device_map="auto",
-        torch_dtype="auto",
-    )
+# 사용 가능한 모델 목록
+available_models = {
+    "Qwen/Qwen2-1.5B-Instruct": "Qwen 2 (1.5B)",
+    "Qwen/Qwen2.5-72B-Instruct": "Qwen 2.5 (72B)",
+    "Hermes-3-Llama-3.1-8B": "Hermes 3 Llama 3.1 (8B)",
+    "Qwen/Qwen2.5-Coder-32B-Instruct": "Qwen 2.5 Coder (32B)",
+    "nvidia/Llama-3.1-Nemotron-70B-Instruct-HF": "Nvidia Nemotron (70B)",
+    "CohereForAI/c4ai-command-r-plus-08-2024": "Cohere Command R+ (08/2024)",
+    "mistralai/Mistral-Small-3.1-24B-Instruct-2503": "Mistral Small 3.1 (24B)",
+    "google/gemma-3-27b-it": "Google Gemma 3 (27B)",
+    "gemma-3-27b-it-abliterated": "Gemma 3 Abliterated (27B)",
+    "nvidia/Llama-3.1-Nemotron-Nano-8B-v1": "Nvidia Nemotron Nano (8B)",
+    "bartowski/mistralai_Mistral-Small-3.1-24B-Instruct-2503-GGUF": "Mistral Small GGUF (24B)",
+    "CohereForAI/c4ai-command-a-03-2025": "Cohere Command A (03/2025)",
+    "open-r1/OlympicCoder-32B": "Olympic Coder (32B)"
+}
+
+# 모델과 토크나이저 로딩을 위한 전역 변수
+pipe = None
 
 # 최종 답변을 감지하기 위한 마커
 ANSWER_MARKER = "**답변**"
@@ -74,6 +84,27 @@ def rebuild_messages(history: list):
     return messages
 
 
+def load_model(model_names):
+    """선택된 모델 이름에 따라 모델 로드"""
+    global pipe
+    
+    # 모델이 선택되지 않았을 경우 기본값 지정
+    if not model_names:
+        model_name = "Qwen/Qwen2-1.5B-Instruct"
+    else:
+        # 첫 번째 선택된 모델 사용 (나중에 여러 모델 앙상블로 확장 가능)
+        model_name = model_names[0]
+    
+    pipe = pipeline(
+        "text-generation",
+        model=model_name,
+        device_map="auto",
+        torch_dtype="auto",
+    )
+    
+    return f"모델 '{model_name}'이(가) 로드되었습니다."
+
+
 @spaces.GPU
 def bot(
     history: list,
@@ -83,6 +114,18 @@ def bot(
     temperature: float,
 ):
     """모델이 질문에 답변하도록 하기"""
+    global pipe
+    
+    # 모델이 로드되지 않았다면 오류 메시지 표시
+    if pipe is None:
+        history.append(
+            gr.ChatMessage(
+                role="assistant",
+                content="모델이 로드되지 않았습니다. 하나 이상의 모델을 선택해 주세요.",
+            )
+        )
+        yield history
+        return
 
     # 나중에 스레드에서 토큰을 스트림으로 가져오기 위함
     streamer = transformers.TextIteratorStreamer(
@@ -140,10 +183,16 @@ def bot(
     yield history
 
 
-with gr.Blocks(fill_height=True, title="모든 LLM 모델에 추론 능력 부여하기") as demo:
+with gr.Blocks(fill_height=True, title="ThinkFlow - Step-by-step Reasoning Service") as demo:
+    # 상단에 타이틀과 설명 추가
+    gr.Markdown("""
+    # ThinkFlow
+    ## A thought amplification service that implants step-by-step reasoning abilities into LLMs without model modification
+    """)
+    
     with gr.Row(scale=1):
         with gr.Column(scale=5):
-
+            # 채팅 인터페이스
             chatbot = gr.Chatbot(
                 scale=1,
                 type="messages",
@@ -156,7 +205,20 @@ with gr.Blocks(fill_height=True, title="모든 LLM 모델에 추론 능력 부
                 placeholder="여기에 질문을 입력하세요.",
                 autofocus=True,
             )
+        
         with gr.Column(scale=1):
+            # 모델 선택 섹션 추가
+            gr.Markdown("""## 모델 선택""")
+            model_selector = gr.CheckboxGroup(
+                choices=list(available_models.values()),
+                value=[available_models["Qwen/Qwen2-1.5B-Instruct"]],  # 기본값
+                label="사용할 LLM 모델 선택 (복수 선택 가능)",
+            )
+            
+            # 모델 로드 버튼
+            load_model_btn = gr.Button("모델 로드")
+            model_status = gr.Textbox(label="모델 상태", interactive=False)
+            
             gr.Markdown("""## 매개변수 조정""")
             num_tokens = gr.Slider(
                 50,
@@ -176,7 +238,18 @@ with gr.Blocks(fill_height=True, title="모든 LLM 모델에 추론 능력 부
             )
             do_sample = gr.Checkbox(True, label="샘플링 사용")
             temperature = gr.Slider(0.1, 1.0, 0.7, step=0.1, label="온도")
-
+    
+    # 선택된 모델 로드 이벤트 연결
+    def get_model_names(selected_models):
+        # 표시 이름에서 원래 모델 이름으로 변환
+        inverse_map = {v: k for k, v in available_models.items()}
+        return [inverse_map[model] for model in selected_models]
+    
+    load_model_btn.click(
+        lambda selected: load_model(get_model_names(selected)),
+        inputs=[model_selector],
+        outputs=[model_status]
+    )
 
     # 사용자가 메시지를 제출하면 봇이 응답합니다
     msg.submit(