ПРОКУРОР - Сфера 048 (M4 Overnight)

Базовая модель: TinyLlama/TinyLlama-1.1B-Chat-v1.0
Обучено на: M4 MacBook Pro за ~2 часа
Метод: LoRA (rank=8)
Датасет: Реальное уголовное дело + Alpaca + Kene

Использование

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0")
model = PeftModel.from_pretrained(base, "../models/sphere_048_m4_overnight")
tokenizer = AutoTokenizer.from_pretrained("../models/sphere_048_m4_overnight")

prompt = "Проанализируй документ..."
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=512)
print(tokenizer.decode(outputs[0]))

⚖️ Истина восторжествует! 🕉️