Update app.py

app.py

@@ -4,15 +4,16 @@ from flask import Flask, request, Response
 from transformers import AutoTokenizer, GPT2LMHeadModel
 from dicttoxml import dicttoxml
 import traceback
-from threading import Lock  # ← 추가
+import re
+from threading import Lock
 
 app = Flask(__name__)
 
 # --- 1. 모델 로드 ---
 print("토크나이저 로딩 중...")
-tokenizer = AutoTokenizer.from_pretrained("skt/kogpt2-base-v2", trust_remote_code=True)
+tokenizer = AutoTokenizer.from_pretrained("skt/kogpt2", trust_remote_code=True)
 print("모델 로딩 중...")
-model = GPT2LMHeadModel.from_pretrained("skt/kogpt2-base-v2", trust_remote_code=True)
+model = GPT2LMHeadModel.from_pretrained("skt/kogpt2", trust_remote_code=True)
 print("모델 로딩 완료!")
 
 # --- 2. 데이터셋 로드 ---
@@ -26,21 +27,21 @@ except Exception as e:
 # --- 3. 동시 요청 제한용 Lock ---
 request_lock = Lock()
 
+# --- 4. 질문과 관련된 지식 검색 ---
 def find_relevant_context(query, top_n=2):
-    """질문과 관련된 지식 데이터 문장 최대 top_n개 반환"""
     query_words = query.replace(" ", "").lower()
     relevant_sentences = []
     for s in knowledge_list:
         s_text = str(s).replace(" ", "").replace("\n", "").lower()
         if any(word.replace(" ", "") in s_text for word in query.split()):
             relevant_sentences.append(s)
-    if relevant_sentences:
-        return " ".join(str(s) for s in relevant_sentences[:top_n])
-    return ""
+    return " ".join(str(s) for s in relevant_sentences[:top_n]) if relevant_sentences else ""
 
+# --- 5. Sayknow 답변 생성 ---
 def ask_sayknow(query):
     try:
         context = find_relevant_context(query)
+
         persona_guide = (
             "너는 지식 기반 한국어 챗봇 Sayknow야. 자기소개 질문에는 '저는 Sayknow입니다.'라고 답해. "
             "그 외에는 아래 참고해서 정확하고 자연스러운 한국어 문장으로 80자 이내로 답해.\n"
@@ -64,76 +65,46 @@ def ask_sayknow(query):
             gen_ids = model.generate(
                 input_ids,
                 attention_mask=attention_mask,
-                max_new_tokens=100,  # ← 200 -> 100으로 줄여 워커 점유 시간 단축
+                max_new_tokens=100,
                 min_length=5,
                 repetition_penalty=1.3,
                 do_sample=True,
                 top_k=30,
-                top_p=0.85,
-                pad_token_id=tokenizer.pad_token_id,
-                temperature=0.5,
-                num_beams=1
+                top_p=0.9,          # 다양성 증가
+                temperature=0.7,     # 다양성 증가
+                num_beams=1,
+                pad_token_id=tokenizer.pad_token_id
             )
+
         raw_response = tokenizer.decode(gen_ids[0], skip_special_tokens=True)
 
-        # 프롬프트 제거 후 실제 답변 추출
-        if raw_response.startswith(prompt):
-            answer = raw_response[len(prompt):].strip()
-        else:
-            answer = raw_response.strip()
-
-                # 2. '답변:' 키워드를 기준으로 진짜 답변 부분 추출
-        if "답변:" in extracted_answer:
-            answer = extracted_answer.split("답변:", 1)[1].strip() # 첫 번째 "답변:" 이후만
-        else:
-            # 만약 "답변:" 태그가 없으면, 프롬프트의 지시사항 중복 등을 제거 시도
-            persona_end_marker = "답해.\n" # persona_guide의 특정 끝 부분을 표시
-            if persona_end_marker in extracted_answer:
-                try:
-                    answer = extracted_answer[extracted_answer.rindex(persona_end_marker) + len(persona_end_marker):].strip()
-                except ValueError:
-                    answer = extracted_answer # 안되면 그냥 전체 사용
-            else:
-                answer = extracted_answer # 그것도 없으면 그냥 전체 사용
-
-        # 그래도 답변이 비어있으면 오류 메시지를 대체
-        if not answer:
-            answer = "죄송합니다. 질문에 대한 답변을 찾을 수 없거나 내용이 명확하지 않습니다."
-
-
-        # 1. 의미 없는 수식/영문/특수문자/반복문자 등 필터링 (기존과 동일)
-        # 이 부분을 먼저 한번 적용해서 answer가 엉뚱한 문자열이 되는 걸 방지
+        # --- 답변 추출 ---
+        answer = raw_response.replace(prompt, '').strip()
+        if "답변:" in answer:
+            answer = answer.split("답변:", 1)[1].strip()
+
+        # 의미 없는 문자 제거
         answer = re.sub(r"[^가-힣0-9 .,!?~\n]", "", answer)
         answer = re.sub(r"([.,!?~])\1{2,}", r"\1", answer)
         answer = re.sub(r"[a-zA-Z]+", "", answer)
         answer = re.sub(r"[=^*/\\]+", "", answer)
         answer = re.sub(r"\s+", " ", answer).strip()
 
-        # 2. 80자 이내로 자르기 (한글 기준) (기존과 동일)
-        def truncate_korean(text, max_len=80):
-            count = 0
-            result = ""
-            for ch in text:
-                result += ch
-                count += 1
-                if count >= max_len:
-                    break
-            return result
-        answer = truncate_korean(answer, 80)
-
-        # 문장 끝 처리
+        # 80자 제한
+        answer = answer[:80]
         if answer and answer[-1] not in ".!?":
             answer += "."
         elif not answer:
-            answer = "알 수 없는 오류가 발생했습니다."
+            answer = "죄송합니다. 질문에 대한 답변을 찾을 수 없습니다."
 
         return answer
+
     except Exception as e:
         print(f"ask_sayknow 에러: {e}")
         traceback.print_exc()
         return f"내부 오류: {str(e)}"
 
-# --- 4. API (XML 응답) ---
+# --- 6. API (XML 응답) ---
 @app.route('/chatapi.html', methods=['GET'])
 @app.route('/index.html', methods=['GET'])
 def chat_api():
@@ -143,8 +114,7 @@ def chat_api():
         xml_output = dicttoxml(result, custom_root='SayknowAPI', attr_type=False)
         return Response(xml_output, mimetype='text/xml')
 
-    # ← Lock으로 요청 순차 처리
-    with request_lock:
+    with request_lock:  # knowledge_list 접근 보호
         try:
             answer = ask_sayknow(query)
             result = {
@@ -165,5 +135,6 @@ def chat_api():
     xml_output = dicttoxml(result, custom_root='SayknowAPI', attr_type=False)
     return Response(xml_output, mimetype='text/xml')
 
+
 if __name__ == '__main__':
     app.run(host='0.0.0.0', port=7860)