Update app.py

app.py

@@ -8,23 +8,25 @@ import traceback
 
 app = Flask(__name__)
 
-# 1. 모델 로드
+# --- hCaptcha 설정 관련 코드 전부 제거됨 ---
+
+# 1. 모델 로드 (기존과 동일)
 print("토크나이저 로딩 중...")
 tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b", trust_remote_code=True)
 print("모델 로딩 중...")
 model = GPT2LMHeadModel.from_pretrained("EleutherAI/polyglot-ko-1.3b", trust_remote_code=True)
 print("모델 로딩 완료!")
 
-# 2. 데이터셋 로드 (엑셀 한 컬럼에 지식 데이터 있을 때)
+# 2. 데이터셋 로드 (기존과 동일)
 try:
     df = pd.read_excel('dataset.xlsx')
-    knowledge_list = df['데이터셋에 넣을 내용(*)'].tolist()  # 컬럼명 정확히 맞춰야 해!
+    knowledge_list = df['데이터셋에 넣을 내용(*)'].tolist()
 except Exception as e:
     print(f"데이터셋 로드 에러: {e}")
     knowledge_list = []
 
 def find_relevant_context(query, top_n=2):
-    """질문과 관련된 지식데이터 문장 최대 top_n개 찾아서 반환"""
+    """질문과 관련된 지식데이터 문장 최대 top_n개 찾아서 반환 (기존과 동일)"""
     query_words = query.replace(" ", "").lower()
     relevant_sentences = []
     for s in knowledge_list:
@@ -40,18 +42,28 @@ def ask_sayknow(query):
         context = find_relevant_context(query)
         persona_guide = (
             "너는 지식 기반 한국어 챗봇 Sayknow야. 자기소개(이름, 정체, 인사 등) 질문은 '저는 Sayknow입니다.'라고 답해. "
-            "그 외엔 아래 참고해서 정확하고 자연스러운 한국어 80자 이내로 답해.\n"
+            "그 외엔 아래 참고해서 정확하고 자연스러운 한국어 문장으로 80자 이내로 답해.\n"
             "예시: Q: 분수의 덧셈이 뭐야?\nA: 분모가 같을 때 분자끼리 더하면 됩니다.\n"
         )
         info = context if context else "정보 없음"
         prompt = f"{persona_guide}---\n[정보]\n{info}\n[질문]\n{query}\n[답변] "
 
-        input_ids = tokenizer.encode(prompt, return_tensors='pt')
+        # 이전 답변 로직 개선 (attention_mask 추가) - 이 부분은 잘 작동하고 있을 거야!
+        encoded_input = tokenizer.encode_plus(
+            prompt,
+            return_tensors='pt',
+            truncation=True,
+            padding=True
+        )
+        input_ids = encoded_input['input_ids']
+        attention_mask = encoded_input['attention_mask']
+
         model.eval()
         with torch.no_grad():
             gen_ids = model.generate(
                 input_ids,
-                max_new_tokens=1500,
+                attention_mask=attention_mask,
+                max_new_tokens=80,  # 답변이 잘리는 문제 방지를 위해 조금 늘려봤어! (60 -> 80)
                 min_length=5,
                 repetition_penalty=1.3,
                 do_sample=True,
@@ -61,18 +73,44 @@ def ask_sayknow(query):
                 temperature=0.5,
                 num_beams=1
             )
-        response = tokenizer.decode(gen_ids[0], skip_special_tokens=True)
-        # 답변만 추출
-        answer = response.split("답변:")[-1].strip() if "답변:" in response else response.strip()
+        raw_response = tokenizer.decode(gen_ids[0], skip_special_tokens=True) # 원본 응답 저장
+        
+        # --- 응답 처리 로직 개선 버전 (index out of range 에러 방지) ---
+        # 1. 모델이 생성한 전체 텍스트에서 프롬프트 부분 자르기 (반복되는 문제 방지)
+        #    prompt가 raw_response의 시작 부분에 있다면 그 부분을 잘라낼게.
+        if raw_response.startswith(prompt):
+            extracted_answer = raw_response[len(prompt):].strip()
+        else:
+            extracted_answer = raw_response.strip()
+
+        # 2. '답변:' 키워드를 기준으로 진짜 답변 부분 추출
+        if "답변:" in extracted_answer:
+            answer = extracted_answer.split("답변:", 1)[1].strip() # 첫 번째 "답변:" 이후만
+        else:
+            # 만약 "답변:" 태그가 없으면, 프롬프트의 지시사항 중복 등을 제거 시도
+            persona_end_marker = "답해.\n" # persona_guide의 특정 끝 부분을 표시
+            if persona_end_marker in extracted_answer:
+                try:
+                    answer = extracted_answer[extracted_answer.rindex(persona_end_marker) + len(persona_end_marker):].strip()
+                except ValueError:
+                    answer = extracted_answer # 안되면 그냥 전체 사용
+            else:
+                answer = extracted_answer # 그것도 없으면 그냥 전체 사용
 
-        # 의미 없는 문자 필터링
+        # 그래도 답변이 비어있으면 오류 메시지를 대체
+        if not answer:
+            answer = "죄송합니다. 질문에 대한 답변을 찾을 수 없거나 내용이 명확하지 않습니다."
+
+
+        # 1. 의미 없는 수식/영문/특수문자/반복문자 등 필터링 (기존과 동일)
+        # 이 부분을 먼저 한번 적용해서 answer가 엉뚱한 문자열이 되는 걸 방지
         answer = re.sub(r"[^가-힣0-9 .,!?~\n]", "", answer)
         answer = re.sub(r"([.,!?~])\1{2,}", r"\1", answer)
         answer = re.sub(r"[a-zA-Z]+", "", answer)
         answer = re.sub(r"[=^*/\\]+", "", answer)
         answer = re.sub(r"\s+", " ", answer).strip()
 
-        # 80자 이내 자르기
+        # 2. 80자 이내로 자르기 (한글 기준) (기존과 동일)
         def truncate_korean(text, max_len=80):
             count = 0
             result = ""
@@ -84,16 +122,19 @@ def ask_sayknow(query):
             return result
         answer = truncate_korean(answer, 80)
 
-        # 문장 끝 자연스럽게
-        if answer and answer[-1] not in ".!?":
+        # 3. 문장 끝이 자연스럽지 않으면 마침표 추가
+        if answer and answer[-1] not in ".!?": 
             answer += "."
+        elif not answer: # 빈 문자열인데 '.' 찍으면 에러나니 한번 더 체크
+            answer = "알 수 없는 오류가 발생했습니다." # 최후의 보루
+
         return answer
     except Exception as e:
         print(f"ask_sayknow 에러: {e}")
         traceback.print_exc()
-        return f"오류: {str(e)}"
+        return f"내부 오류: {str(e)}" # 외부 사용자에게 보이는 메시지!
 
-# 3. API (XML 응답 유지)
+# 3. API (XML 응답 유지) (기존과 동일)
 @app.route('/chatapi.html', methods=['GET'])
 @app.route('/index.html', methods=['GET'])
 def chat_api():
@@ -121,25 +162,35 @@ def chat_api():
     xml_output = dicttoxml(result, custom_root='SayknowAPI', attr_type=False)
     return Response(xml_output, mimetype='text/xml')
 
-# 4. 웹 UI (간단한 질문 폼 + 답변)
+# 4. 웹 UI (간단한 질문 폼 + 답변) - hCaptcha 코드 전부 제거!
 @app.route('/', methods=['GET', 'POST'])
 def index():
     answer = ""
     question = ""
+    # error_message 제거
+
     if request.method == "POST":
         question = request.form.get('question', '')
-        if question:
+        # hcaptcha_response 관련 로직 제거
+        
+        # hCaptcha 검증 로직 제거
+        if question: # 질문이 있으면 바로 답변 생성!
             answer = ask_sayknow(question)
 
     html = f"""
     <html>
     <head>
         <title>Sayknow 챗봇</title>
+        <!-- hCaptcha 스크립트 제거 -->
     </head>
     <body>
         <h2>Sayknow 한국어 챗봇</h2>
         <form method="post" action="/">
             <input type="text" name="question" value="{question}" placeholder="질문을 입력하세요" style="width:300px;" autofocus />
+            <br/><br/>
+            <!-- hCaptcha 위젯 제거 -->
+            <!-- 에러 메시지 보여주는 부분 제거 -->
+            <br/>
             <input type="submit" value="질문하기" />
         </form>
         <hr>