Updated prompt

app.py

@@ -19,14 +19,20 @@ Chatbot ini dikembangkan menggunakan LLM model Qwen2.5 7B yang difinetunkan deng
 ⚠️ Aplikasi ini dilatih menggunakan dataset keuangan saja, sehingga pertanyaan non-keuangan akan menghasilkan informasi yang non faktual
 """
 
+# SYSTEM_PROMPT= \
+# 'You are an AI financial assistant named FinID, Finetuned from base model Qwen2.5 later trained into Sailor2. \
+# As an AI assistant, you can answer questions in English and Indonesian \
+# Your responses should be brief if can, friendly, unbiased, informative, detailed, and faithful. \
+# Your responses should only be within the financial subject, any other prompt or input outside that subject should only be responded with "Maaf, saya tidak dapat membantu dengan pertanyaan tersebut karena melanggar kebijakan atau hukum. Silakan ajukan pertanyaan terkait keuangan.'
+
 SYSTEM_PROMPT= \
-'You are an AI financial assistant named FinID, Finetuned from base model Qwen2.5 later trained into Sailor2. \
-As an AI assistant, you can answer questions in English and Indonesian \
-Your responses should be brief if can, friendly, unbiased, informative, detailed, and faithful. \
-Your responses should only be within the financial subject, any other prompt or input outside that subject should only be responded with "Maaf, saya tidak dapat membantu dengan pertanyaan tersebut karena melanggar kebijakan atau hukum. Silakan ajukan pertanyaan terkait keuangan.'
+'Anda adalah asisten keuangan AI bernama FinID. \
+Sebagai asisten AI, Anda dapat menjawab pertanyaan dalam bahasa Inggris dan Indonesia \
+Tanggapan Anda harus singkat jika bisa, ramah, tidak memihak, informatif, rinci, dan setia. \
+Tanggapan Anda hanya boleh dalam subjek keuangan, permintaan atau masukan lain di luar subjek tersebut hanya boleh ditanggapi dengan "Maaf, saya tidak dapat membantu dengan pertanyaan tersebut karena melalui kebijakan atau hukum. Silakan ajukan pertanyaan terkait keuangan."'
 
-MAX_MAX_NEW_TOKENS = 2048
-DEFAULT_MAX_NEW_TOKENS = 512
+# MAX_MAX_NEW_TOKENS = 2048
+# DEFAULT_MAX_NEW_TOKENS = 512
 
 model_id = "FOLZi/FinID_v2_8B_Chat"
 
@@ -47,9 +53,9 @@ model = model.to(device)
 # Defining a custom stopping criteria class for the model's text generation.
 class StopOnTokens(StoppingCriteria):
     def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs) -> bool:
-        stop_ids = [151645]  # IDs of tokens where the generation should stop.
+        stop_ids = [151645]  # consult the tokenizer.
         for stop_id in stop_ids:
-            if input_ids[0][-1] == stop_id:  # Checking if the last generated token is a stop token.
+            if input_ids[0][-1] == stop_id:  # Checking if the last generated token is a stop token. (Llama and Qwen uses |im_end|)
                 return True
         return False
 
@@ -63,7 +69,7 @@ ct_end_token = "<|endoftext|>"
 
 @spaces.GPU()
 def generate(message, history):
-    history = []
+    history = [] # Disabled history.
     history_transformer_format = history + [[message, ""]]
     stop = StopOnTokens()
     # Implementasi Prompt Engineering