sayknow upload

Dockerfile

@@ -0,0 +1,15 @@
+# Dockerfile (이거 그대로 복사해서 Dockerfile 이라는 이름으로 저장!)
+FROM python:3.9-slim-buster
+
+WORKDIR /app
+
+COPY requirements.txt .
+RUN pip install --no-cache-dir -r requirements.txt
+
+COPY app.py . 
+COPY dataset.xlsx .
+
+EXPOSE 7860
+
+# 네 Flask 앱을 웹 서버처럼 실행시켜주는 명령어 (Gunicorn이 도와줌)
+CMD ["gunicorn", "--bind", "0.0.0.0:7860", "app:app"]

app.py

@@ -1,70 +1,146 @@
-import gradio as gr
-from huggingface_hub import InferenceClient
+import pandas as pd
+import torch
+from flask import Flask, request, Response
+from transformers import AutoTokenizer, GPT2LMHeadModel
+from dicttoxml import dicttoxml
 
+app = Flask(__name__)
 
-def respond(
-    message,
-    history: list[dict[str, str]],
-    system_message,
-    max_tokens,
-    temperature,
-    top_p,
-    hf_token: gr.OAuthToken,
-):
-    """
-    For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
-    """
-    client = InferenceClient(token=hf_token.token, model="openai/gpt-oss-20b")
+# 1. 모델 로드
+print("토크나이저 로딩 중...")
+tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b", trust_remote_code=True)
+print("모델 로딩 중...")
+model = GPT2LMHeadModel.from_pretrained("EleutherAI/polyglot-ko-1.3b", trust_remote_code=True)
+print("모델 로딩 완료!")
 
-    messages = [{"role": "system", "content": system_message}]
+# 2. 데이터셋 로드 (엑셀의 한 컬럼에 지식 데이터가 몰려있는 경우)
+try:
+    df = pd.read_excel('dataset.xlsx')
+    knowledge_list = df['데이터셋에 넣을 내용(*)'].tolist() # 데이터셋 문장 리스트화
+except Exception as e:
+    print(f"데이터셋 로드 에러: {e}")
+    knowledge_list = []
 
-    messages.extend(history)
+def find_relevant_context(query, top_n=2):
+    """데이터셋에서 질문과 관련된 문장을 찾아 반환"""
+    # 키워드 기반 필터링 - 공백 제거해서 검색
+    query_words = query.replace(" ", "").lower()
+    relevant_sentences = []
+    
+    for s in knowledge_list:
+        s_text = str(s).replace(" ", "").replace("\n", "").lower()
+        # 키워드가 문장에 포함되어 있는지 확인
+        if any(word.replace(" ", "") in s_text for word in query.split()):
+            relevant_sentences.append(s)
+    
+    if relevant_sentences:
+        return " ".join(str(s) for s in relevant_sentences[:top_n])
+    return ""
 
-    messages.append({"role": "user", "content": message})
+def ask_sayknow(query):
+    try:
+        context = find_relevant_context(query)
+        
+        # 자기소개/인사 질문에 대한 명시적 안내 추가
+        # 역할, 예시, 정보/질문 구분, context 없을 때 '정보 없음' 명시
+        persona_guide = (
+            "너는 지식 기반 한국어 챗봇 Sayknow야. 자기소개(이름, 정체, 인사 등) 질문엔 '저는 Sayknow입니다.'라고 답해. "
+            "그 외에는 아래 정보를 참고해 질문에 대해 정확하고 자연스러운 한국어 문장으로 80자 이내로 답해.\n"
+            "예시: Q: 분수의 덧셈이 뭐야?\nA: 분모가 같을 때 분자끼리 더하면 됩니다.\n"
+        )
+        info = context if context else "정보 없음"
+        prompt = (
+            f"{persona_guide}---\n[정보]\n{info}\n[질문]\n{query}\n[답변] "
+        )
 
-    response = ""
+        input_ids = tokenizer.encode(prompt, return_tensors='pt')
+        model.eval()
+        with torch.no_grad():
+            gen_ids = model.generate(
+                input_ids,
+                max_new_tokens=60,
+                min_length=5,
+                repetition_penalty=1.3,
+                do_sample=True,
+                top_k=30,
+                top_p=0.85,
+                pad_token_id=tokenizer.pad_token_id,
+                temperature=0.5,
+                num_beams=1
+            )
+        response = tokenizer.decode(gen_ids[0], skip_special_tokens=True)
+        # 답변 부분만 잘라내기
+        if "답변:" in response:
+            answer = response.split("답변:")[-1].strip()
+        else:
+            answer = response.strip()
 
-    for message in client.chat_completion(
-        messages,
-        max_tokens=max_tokens,
-        stream=True,
-        temperature=temperature,
-        top_p=top_p,
-    ):
-        choices = message.choices
-        token = ""
-        if len(choices) and choices[0].delta.content:
-            token = choices[0].delta.content
+        # 1. 의미 없는 수식/영문/특수문자/반복문자 등 필터링
+        import re
+        # 한글, 숫자, 기본 구두점만 허용
+        answer = re.sub(r"[^가-힣0-9 .,!?~\n]", "", answer)
+        # 반복되는 특수문자, 숫자, 영문 제거
+        answer = re.sub(r"([.,!?~])\1{2,}", r"\1", answer)
+        answer = re.sub(r"[a-zA-Z]+", "", answer)
+        # 수식(=, ^, *, / 등) 제거
+        answer = re.sub(r"[=^*/\\]+", "", answer)
+        # 연속 공백 정리
+        answer = re.sub(r"\s+", " ", answer).strip()
 
-        response += token
-        yield response
+        # 2. 80자 이내로 자르기 (한글 기준)
+        def truncate_korean(text, max_len=80):
+            count = 0
+            result = ""
+            for ch in text:
+                # 한글, 한자, 영문, 숫자, 구두점 모두 1자로 취급
+                result += ch
+                count += 1
+                if count >= max_len:
+                    break
+            return result
+        answer = truncate_korean(answer, 80)
 
+        # 3. 문장 끝이 자연스럽지 않으면 마침표 추가
+        if answer and answer[-1] not in ".!?":
+            answer += "."
+        return answer
+    except Exception as e:
+        print(f"ask_sayknow 에러: {e}")
+        import traceback
+        traceback.print_exc()
+        return f"오류: {str(e)}"
 
-"""
-For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
-"""
-chatbot = gr.ChatInterface(
-    respond,
-    type="messages",
-    additional_inputs=[
-        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(
-            minimum=0.1,
-            maximum=1.0,
-            value=0.95,
-            step=0.05,
-            label="Top-p (nucleus sampling)",
-        ),
-    ],
-)
+# 3. REST API 엔드포인트
+@app.route('/chatapi.html', methods=['GET'])
+@app.route('/index.html', methods=['GET'])
+@app.route('/', methods=['GET'])
+def chat_api():
+    query = request.args.get('askdata', '')
+    
+    if not query:
+        result = {"status": "error", "message": "No data"}
+    else:
+        try:
+            answer = ask_sayknow(query)
+            result = {
+                "service": "Sayknow",
+                "question": query,
+                "answer": answer
+            }
+        except Exception as e:
+            print(f"chat_api 에러: {e}")
+            import traceback
+            traceback.print_exc()
+            result = {
+                "service": "Sayknow",
+                "question": query,
+                "answer": f"에러 발생: {str(e)}",
+                "error": str(e)
+            }
 
-with gr.Blocks() as demo:
-    with gr.Sidebar():
-        gr.LoginButton()
-    chatbot.render()
+    # XML 변환
+    xml_output = dicttoxml(result, custom_root='SayknowAPI', attr_type=False)
+    return Response(xml_output, mimetype='text/xml')
 
-
-if __name__ == "__main__":
-    demo.launch()
+if __name__ == '__main__':
+    app.run(host='0.0.0.0', port=7860)

requirements.txt

@@ -0,0 +1,7 @@
+# requirements.txt
+pandas
+torch
+flask
+transformers
+dicttoxml
+gunicorn # ★★★★ 이거 중요! 뒤에서 설명할 Flask 앱 실행 도우미!