Update README.md

README.md

@@ -45,7 +45,7 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 class TextGenerationAssistant:
     def __init__(self, model_id:str):
         self.tokenizer = AutoTokenizer.from_pretrained(model_id)
-        self.model = AutoModelForCausalLM.from_pretrained(model_id, device_map='auto', load_in_8bit=True)
+        self.model = AutoModelForCausalLM.from_pretrained(model_id, device_map='auto')
         self.pipe = pipeline("text-generation", 
                              model=self.model, 
                              tokenizer=self.tokenizer,
@@ -56,10 +56,10 @@ class TextGenerationAssistant:
                             )
 
         self.sampling_params = dict(do_sample=True, temperature=0.5, top_k=50, top_p=0.9)
-        self.SYSTEM_PROMPT = "Sen yardımcı bir asistansın. Sana verilen talimat ve girdilere en uygun cevapları üreteceksin. \n\n\n"
+        self.system_prompt = "Sen yardımcı bir asistansın. Sana verilen talimat ve girdilere en uygun cevapları üreteceksin. \n\n\n"
 
     def format_prompt(self, user_input):
-        return "[INST] " + self.SYSTEM_PROMPT + user_input + " [/INST]"
+        return "[INST] " + self.system_prompt + user_input + " [/INST]"
 
     def generate_response(self, user_query):
         prompt = self.format_prompt(user_query)