Upload README.md with huggingface_hub

README.md

@@ -0,0 +1,160 @@
+---
+language:
+- ru
+- en
+library_name: transformers
+pipeline_tag: text-generation
+license: llama3.2
+base_model: meta-llama/Llama-3.2-3B-Instruct
+tags:
+- llama-3.2
+- personalization  
+- russian
+- telegram
+- lora
+- tpu
+- conversational-ai
+- fine-tuned
+model_type: llama
+datasets:
+- custom_telegram_dialogs
+---
+
+# 🤖 LLaMA 3.2 3B Персонализированная Модель
+
+Персонализированная модель на основе **LLaMA 3.2 3B Instruct**, обученная на диалогах Telegram с использованием **LoRA (Low-Rank Adaptation)** на **TPU v3-8**.
+
+## 📊 Результаты обучения
+
+![Training Metrics](training_metrics.png)
+
+| Метрика | Training | Validation |
+|---------|----------|------------|
+| **Loss** | 2.3811 | 2.2514 |
+| **Perplexity** | 10.82 | 9.50 |
+
+- ⏱️ **Время обучения**: ~8.1 часов на TPU v3-8
+- 🔄 **Всего шагов**: 8,012 (1 эпоха)
+- 📈 **Отличная генерализация**: validation loss ниже training loss
+
+## 🔧 Конфигурация LoRA
+
+```yaml
+LoRA Configuration:
+  rank: 16
+  alpha: 32
+  dropout: 0.1
+  target_modules: 
+    - q_proj
+    - k_proj  
+    - v_proj
+    - o_proj
+    - gate_proj
+    - up_proj
+```
+
+## 🎯 Особенности модели
+
+- 🗣️ **Персонализация**: Обучена имитировать стиль общения конкретного пользователя
+- 🇷🇺 **Русский язык**: Оптимизирована для русскоязычных диалогов
+- 💬 **Telegram-стиль**: Адаптирована под неформальное общение в мессенджерах
+- ⚡ **Эффективность**: Использует LoRA для быстрого fine-tuning
+
+## 💾 Использование
+
+### Быстрый старт
+
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel
+import torch
+
+# Загрузка базовой модели
+base_model_name = "meta-llama/Llama-3.2-3B-Instruct"
+model = AutoModelForCausalLM.from_pretrained(
+    base_model_name,
+    torch_dtype=torch.bfloat16,
+    device_map="auto"
+)
+
+# Загрузка LoRA адаптера
+model = PeftModel.from_pretrained(model, "Aze4ka/projectme")
+
+# Загрузка токенизатора
+tokenizer = AutoTokenizer.from_pretrained("Aze4ka/projectme")
+
+# Функция генерации ответа
+def generate_response(prompt, max_new_tokens=100, temperature=0.7):
+    # Форматирование в стиле LLaMA 3.2
+    formatted_prompt = f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
+    
+    inputs = tokenizer(formatted_prompt, return_tensors="pt")
+    
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=max_new_tokens,
+            temperature=temperature,
+            top_p=0.9,
+            do_sample=True,
+            pad_token_id=tokenizer.pad_token_id,
+            eos_token_id=tokenizer.eos_token_id
+        )
+    
+    response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)
+    return response.strip()
+
+# Пример использования
+response = generate_response("Привет! Как дела?")
+print(response)
+```
+
+### Примеры диалогов
+
+**Пользователь**: Привет! Как дела?  
+**Модель**: Привет! Дела отлично, спасибо! А у тебя как?
+
+**Пользователь**: Что думаешь о машинном обучении?  
+**Модель**: ML — это невероятно! Постоянно развивается, столько возможностей...
+
+## 🛠️ Технические детали
+
+- **Базовая модель**: `meta-llama/Llama-3.2-3B-Instruct`
+- **Метод обучения**: LoRA (Low-Rank Adaptation)
+- **Платформа**: TPU v3-8 на Kaggle
+- **Фреймворк**: PyTorch + torch_xla
+- **Библиотеки**: transformers, peft, wandb
+
+## 📈 Процесс обучения
+
+- 📊 **Логирование**: Wandb с метриками каждые 10 шагов
+- 🔄 **Валидация**: Каждые 1000 шагов
+- 💾 **Checkpoint'ы**: Автоматическое сохранение
+- ⚡ **Оптимизация**: AdamW с cosine scheduler
+
+## ⚡ Рекомендации по использованию
+
+- **Temperature**: 0.7 для сбалансированности
+- **Max tokens**: 100-150 для коротких ответов
+- **Top-p**: 0.9 для разнообразия
+- **Batch size**: 1-4 для инференса
+
+## 🎓 Цитирование
+
+```bibtex
+@misc{llama32-personalized-2025,
+  title={LLaMA 3.2 3B Персонализированная модель},
+  author={Aze4ka},
+  year={2025},
+  publisher={HuggingFace},
+  url={https://huggingface.co/Aze4ka/projectme}
+}
+```
+
+## 📄 Лицензия
+
+Эта модель лицензирована в соответствии с [LLaMA 3.2 Community License](https://github.com/meta-llama/llama-models/blob/main/models/llama3_2/LICENSE).
+
+---
+
+*Модель создана в образовательных целях для демонстрации персонализации LLM на русском языке.*