Delete inference.py

inference.py

@@ -1,33 +0,0 @@
-import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
-from peft import PeftModel
-
-# 1. Пути к моделям
-base_model_id = "sberbank-ai/rugpt3small_based_on_gpt2"
-# Укажите путь к папке, которую вы скачали из Colab (например, checkpoint-1860)
-adapter_path = "."
-
-# 2. Загрузка токенизатора и базовой модели
-tokenizer = AutoTokenizer.from_pretrained(base_model_id)
-model = AutoModelForCausalLM.from_pretrained(base_model_id, torch_dtype=torch.float16, device_map="auto")
-
-# 3. Подгрузка LoRA адаптера
-model = PeftModel.from_pretrained(model, adapter_path)
-model.eval()
-
-def generate(text):
-    prompt = f"Пользователь: {text}\nПомощник:"
-    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
-    
-    with torch.no_grad():
-        outputs = model.generate(
-            **inputs, 
-            max_new_tokens=150, 
-            do_sample=True, 
-            top_p=0.9, 
-            repetition_penalty=1.2
-        )
-    return tokenizer.decode(outputs[0], skip_special_tokens=True).split("Помощник:")[-1].strip()
-
-# Тест
-print(generate(input('Prompt: ')))