Update app.py

app.py

@@ -22,18 +22,18 @@ def load_llm():
     )
     
     pipe = pipeline(
-        "text2text-generation",
-        model=model,
-        tokenizer=tokenizer,
-        max_new_tokens=512,
-        temperature=0.7,
-        top_p=0.9,
-        top_k=50,
-        repetition_penalty=1.2,
-        num_beams=4,
-        early_stopping=True,
-        do_sample=True
-    )
+    "text2text-generation",
+    model=model,
+    tokenizer=tokenizer,
+    max_new_tokens=512,
+    temperature=0.75,         # Tăng tính sáng tạo (tự nhiên hơn)
+    top_p=0.92,               # Kết hợp với temperature
+    top_k=40,
+    repetition_penalty=1.25,  # Tránh lặp từ ngữ
+    num_beams=4,              # Giúp câu mượt hơn nếu không sampling
+    early_stopping=True,
+    do_sample=True            # Bật chế độ sampling để tránh cứng nhắc
+)
 
     return HuggingFacePipeline(pipeline=pipe)
 
@@ -56,7 +56,11 @@ def process_pdf(pdf_path):
 
 
 # --- Tiền xử lý prompt và hậu xử lý câu trả lời ---
-template = """以下の文書情報をもとに、質問に自然で丁寧な日本語で回答してください。できるだけ具体的に、例を挙げて分かりやすく説明してください。
+template = """あなたは親しみやすく丁寧なアシスタントです。以下の文書情報をもとに、質問に自然で分かりやすい日本語で回答してください。
+
+- 回答はできるだけ口語的で柔らかい表現を使ってください。
+- 理由や例を交えて説明すると良いでしょう。
+- 分からない場合は正直に「その点については詳しく記載されていません」と答えてください。
 
 文書情報:
 {context}
@@ -73,21 +77,21 @@ QA_PROMPT = PromptTemplate(
 def postprocess_answer(answer):
     answer = answer.strip()
 
-    # Loại bỏ phần đầu không cần thiết
-    if "Answer:" in answer:
-        answer = answer.split("Answer:")[-1].strip()
-    
+    # Loại bỏ các cụm không mong muốn
+    for phrase in ["Answer:", "答え:", "回答:", "The answer is", "Based on the context"]:
+        answer = answer.replace(phrase, "").strip()
+
+    # Viết hoa chữ cái đầu tiên (nếu cần thiết trong tiếng Nhật)
+    if answer and len(answer) > 0:
+        answer = answer[0].upper() + answer[1:]
+
     # Thêm dấu chấm cuối câu nếu thiếu
     if answer and answer[-1] not in "。.?！":
         answer += "。"
 
-    # Viết hoa chữ cái đầu tiên
-    if len(answer) > 0:
-        answer = answer[0].upper() + answer[1:]
-
-    # Kiểm tra xem câu có quá ngắn không
-    if len(answer.split()) < 3:
-        answer = "ご参考までに、提供された資料にはその点についての詳細な記載が見受けられませんが、" + answer
+    # Nếu câu quá ngắn hoặc vô nghĩa, phản hồi mềm mại
+    if len(answer.split()) < 4:
+        answer = "資料にはその件についての詳細な記載が見受けられませんが、以下のように推測されます：" + answer
 
     return answer