Update app.py

app.py

@@ -1,12 +1,12 @@
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 
-#device = "cuda" # the device to load the model onto
+device = "cuda" # the device to load the model onto
 
 model = AutoModelForCausalLM.from_pretrained("ilsp/Meltemi-7B-Instruct-v1.5")
 tokenizer = AutoTokenizer.from_pretrained("ilsp/Meltemi-7B-Instruct-v1.5")
 
-#model.to(device)
+model.to(device)
 
 messages = [
     {"role": "system", "content": "Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη."},
@@ -23,7 +23,7 @@ messages = [
 #
 
 prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
-input_prompt = tokenizer(prompt, return_tensors='pt') #.to(device)
+input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
 outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)
 
 print(tokenizer.batch_decode(outputs)[0])
@@ -48,7 +48,7 @@ messages.extend([
 #
 
 prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
-input_prompt = tokenizer(prompt, return_tensors='pt') #.to(device)
+input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
 outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)
 
 print(tokenizer.batch_decode(outputs)[0])