Update app.py

app.py

@@ -1,10 +1,46 @@
 import gradio as gr
 import os
+from huggingface_hub import InferenceClient
 
 #############################
 # [블로그 생성기 - Cohere Command R+]
 #############################
 
+# Cohere Command R+ 모델 ID 정의
+COHERE_MODEL = "CohereForAI/c4ai-command-r-plus-08-2024"
+SYSTEM_MESSAGE = "블로그 글을 작성해주세요."
+MAX_TOKENS = 4000
+TEMPERATURE = 0.7
+TOP_P = 0.95
+
+def get_client(hf_token):
+    """
+    HuggingFace InferenceClient 생성.
+    """
+    if not hf_token:
+        raise ValueError("HuggingFace API 토큰이 필요합니다.")
+
+    return InferenceClient(COHERE_MODEL, token=hf_token)
+
+def respond_cohere_qna(question, system_message, max_tokens, temperature, top_p, hf_token):
+    """
+    Cohere 모델을 사용하여 질문에 대한 응답 생성.
+    """
+    client = get_client(hf_token)
+
+    messages = [
+        {"role": "system", "content": system_message},
+        {"role": "user", "content": question}
+    ]
+
+    response = client.chat_completion(
+        messages=messages,
+        max_tokens=max_tokens,
+        temperature=temperature,
+        top_p=top_p,
+    )
+    return response.choices[0].message.content
+
 # 블로그 생성 함수 정의
 def generate_blog(tone, ref1, ref2, ref3):
     """
@@ -19,7 +55,7 @@ def generate_blog(tone, ref1, ref2, ref3):
     # 프롬프트 구성
     prompt = f"말투: {tone}\n참조문 1: {ref1}\n참조문 2: {ref2}\n참조문 3: {ref3}"
 
-    # 응답 생성 (respond_cohere_qna는 별도 함수로 가정)
+    # 응답 생성
     return respond_cohere_qna(
         question=prompt,
         system_message=SYSTEM_MESSAGE,