Update README.md

README.md

@@ -43,22 +43,27 @@ You are a helpful AI assistant developed by Kakao. Respond in the following form
 
 messages = [
     {"role" : "system", "content" : SYSTEM_PROMPT},
-    {"role" : "user", "content" : f"이미지 생성 태스크에서 Auto Regressive 모델보다 Diffusion 모델이 더 사실적인 이미지를 생성하는 이유가 뭐야?"},
+    {"role" : "user", "content" : f"철수가 한 변의 길이가 5km인 정사각형 모양의 공원에서 둘레를 따라 나무를 심으려고 해. 나무 사이 간격은 500m야. 한 나무를 심을 때 17번의 삽질이 필요한데, 근로기준법상 한 사람은 인생에서 31번의 삽질밖에 못해. 그렇다면 철수가 나무심기를 완료하기 위해서는 몇명의 인부를 추가로 고용해야 할까?"},
+    {"role" : "system", "content" : "<reason> 심호흡 하고, 차근차근 생각해보자. 일단, "},
 ]
 
 input_ids = tokenizer.apply_chat_template(
     messages,
     tokenize=True,
-    add_generation_prompt=True,
+    continue_final_message=True,
     return_tensors="pt"
 ).to("cuda")
 
 _ = model.eval()
+
+# with model.disable_adapter():
 with torch.no_grad():
     output = model.generate(
         input_ids,
         max_new_tokens=1024,
-        streamer=streamer
+        streamer=streamer,
+        tokenizer=tokenizer,
+        stop_strings="</answer>"
     )
 
 print(tokenizer.decode(output[0]))