Update app-backup2.py

app-backup2.py

@@ -318,14 +318,25 @@ Step_n: xxx""",
                 do_sample=True,
                 temperature=0.7,
                 top_p=0.9,
+                pad_token_id=processor.tokenizer.pad_token_id,
+                eos_token_id=processor.tokenizer.eos_token_id,
             )
         
+        # 입력 토큰 제거하여 출력만 추출
+        generated_tokens = outputs[0][inputs.input_ids.shape[1]:]
+        
         # 디코딩
-        response = processor.decode(outputs[0], skip_special_tokens=True)
+        response = processor.decode(generated_tokens, skip_special_tokens=True).strip()
+        
+        # 프롬프트 제거 및 정리
+        # 이미 입력 토큰을 제거했으므로 추가 정리만 수행
+        response = response.strip()
         
-        # 프롬프트 제거
-        if "Assistant:" in response:
-            response = response.split("Assistant:")[-1].strip()
+        # 혹시 남아있는 불필요한 텍스트 제거
+        if response.startswith("model\n"):
+            response = response[6:].strip()
+        elif response.startswith("model"):
+            response = response[5:].strip()
         
         return response