Update app.py

app.py

@@ -1,6 +1,7 @@
 import os
 import threading
 import gradio as gr
+import torch
 from transformers import (
     AutoModelForCausalLM,
     AutoTokenizer,
@@ -13,6 +14,7 @@ hf_token = os.environ["HUGGINGFACEHUB_API_TOKEN"]
 # Load tokenizer & model locally
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, token=hf_token)
 model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, token=hf_token)
+model = torch.compile(model)
 model.eval()
 
 def respond(
@@ -61,7 +63,7 @@ demo = gr.ChatInterface(
     examples = [
     ["Il était une fois un petit garçon qui vivait dans un village paisible.", 512, 0.7, 0.9],
     ["Il était une fois une grenouille qui rêvait de toucher les étoiles chaque nuit depuis son étang.", 512, 0.7, 0.9],
-    ["Il était une fois un vieux moulin abandonné qui", 512, 0.7, 0.9],
+    ["Il était une fois un petit lapin perdu", 512, 0.7, 0.9],
     ],
     cache_examples=False,
 )