Update app.py

app.py

@@ -1,21 +1,27 @@
 import gradio as gr
-from transformers import pipeline
+from transformers import LlamaForCausalLM, LlamaTokenizer
+import torch
 
-# Загружаем твою модель Orion Zet
-# Благодаря 16 ГБ ОЗУ в Space, она должна загрузиться без проблем
-pipe = pipeline("text-generation", model="AxisCommunity/OrionZetAI-Nano-Alpha")
+model_id = "AxisCommunity/OrionZetAI-Nano-Alpha"
 
-def generate(text):
-    # Генерация ответа от твоей нейронки
-    result = pipe(text, max_new_tokens=50, do_sample=True)
-    return result[0]['generated_text']
+# Используем специальные классы именно для Llama, чтобы избежать ошибки с tiktoken
+print("Загрузка токенизатора...")
+tokenizer = LlamaTokenizer.from_pretrained(model_id)
 
-# Создаем простой интерфейс чата
-demo = gr.Interface(
-    fn=generate, 
-    inputs=gr.Textbox(lines=2, placeholder="Напиши что-нибудь Orion Zet..."), 
-    outputs="text",
-    title="Orion Zet AI Cloud"
+print("Загрузка модели...")
+model = LlamaForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.float16,
+    low_cpu_mem_usage=True,
+    # Отключаем проверку safetensors, так как у нас .bin
+    use_safetensors=False 
 )
 
+def generate(text):
+    inputs = tokenizer(text, return_tensors="pt")
+    with torch.no_grad():
+        output = model.generate(**inputs, max_new_tokens=50)
+    return tokenizer.decode(output[0], skip_special_tokens=True)
+
+demo = gr.Interface(fn=generate, inputs="text", outputs="text", title="Orion Zet AI")
 demo.launch()