Upload folder using huggingface_hub

README.md

@@ -0,0 +1,123 @@
+---
+library_name: transformers
+license: apache-2.0
+base_model: Qwen/Qwen2.5-Coder-3B-Instruct
+pipeline_tag: text-generation
+tags:
+- code
+- code-analysis
+- qwen
+- qwen2
+- text-generation
+- transformers
+- fine-tuned
+---
+
+# Code Analyzer Model
+
+Fine-tuned версия модели Qwen2.5-Coder-3B-Instruct для анализа кода и ответов на вопросы о программировании.
+
+## Описание модели
+
+Эта модель была обучена на датасете ITOG для анализа кода и предоставления ответов на вопросы, связанные с программированием. Модель основана на Qwen2.5-Coder-3B-Instruct и дообучена с использованием LoRA (Low-Rank Adaptation).
+
+## Быстрый старт
+
+Вы можете использовать эту модель прямо в интерфейсе Hugging Face с помощью кнопки "Use this model" или загрузить локально.
+
+## Использование
+
+### С помощью transformers
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+model_name = "Vilyam888/Code_analyze.1.0"
+
+tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    torch_dtype=torch.bfloat16,
+    device_map="auto",
+    trust_remote_code=True
+)
+
+# Формат запроса
+prompt = "Проанализируй этот код:\ndef hello():\n    print('Hello, World!')"
+
+# Форматирование в стиле обучения
+text = f"{prompt}\n\nОтвет:\n"
+
+inputs = tokenizer(text, return_tensors="pt").to(model.device)
+
+with torch.no_grad():
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=512,
+        temperature=0.7,
+        top_p=0.8,
+        top_k=20,
+        repetition_penalty=1.05,
+        do_sample=True
+    )
+
+response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+print(response)
+```
+
+### С помощью pipeline
+
+```python
+from transformers import pipeline
+
+model_name = "Vilyam888/Code_analyze.1.0"
+
+generator = pipeline(
+    "text-generation",
+    model=model_name,
+    tokenizer=model_name,
+    trust_remote_code=True,
+    device_map="auto"
+)
+
+prompt = "Объясни, что делает этот код:\ndef factorial(n):\n    if n <= 1:\n        return 1\n    return n * factorial(n-1)"
+text = f"{prompt}\n\nОтвет:\n"
+
+result = generator(
+    text,
+    max_new_tokens=512,
+    temperature=0.7,
+    top_p=0.8,
+    top_k=20,
+    repetition_penalty=1.05,
+    do_sample=True
+)
+
+print(result[0]["generated_text"])
+```
+
+## Детали обучения
+
+- **Базовая модель:** Qwen/Qwen2.5-Coder-3B-Instruct
+- **Метод обучения:** LoRA (Low-Rank Adaptation)
+- **Параметры LoRA:**
+  - `r`: 16
+  - `lora_alpha`: 32
+  - `lora_dropout`: 0.05
+- **Фреймворк:** TRL (Transformer Reinforcement Learning)
+- **Формат данных:** JSONL с полями `input` и `output`
+
+## Ограничения
+
+- Модель обучена на русском языке для анализа кода
+- Может генерировать неточные или неполные ответы
+- Требует GPU для эффективной работы
+
+## Лицензия
+
+Apache 2.0
+
+## Авторы
+
+Fine-tuned by Vilyam888

inference.py

@@ -0,0 +1,71 @@
+"""
+Inference code for Code Analyzer Model
+This file enables the "Use this model" button on Hugging Face.
+"""
+
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+
+def load_model_and_tokenizer(model_name: str):
+    """Load model and tokenizer"""
+    tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
+    model = AutoModelForCausalLM.from_pretrained(
+        model_name,
+        torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32,
+        device_map="auto",
+        trust_remote_code=True
+    )
+    return model, tokenizer
+
+
+def generate_response(
+    model,
+    tokenizer,
+    prompt: str,
+    max_new_tokens: int = 512,
+    temperature: float = 0.7,
+    top_p: float = 0.8,
+    top_k: int = 20,
+    repetition_penalty: float = 1.05,
+):
+    """Generate response for a given prompt"""
+    # Format prompt in training style
+    text = f"{prompt}\n\nОтвет:\n"
+    
+    inputs = tokenizer(text, return_tensors="pt").to(model.device)
+    
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=max_new_tokens,
+            temperature=temperature,
+            top_p=top_p,
+            top_k=top_k,
+            repetition_penalty=repetition_penalty,
+            do_sample=True,
+            pad_token_id=tokenizer.eos_token_id
+        )
+    
+    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    # Extract only the answer part
+    if "Ответ:" in response:
+        response = response.split("Ответ:")[-1].strip()
+    
+    return response
+
+
+if __name__ == "__main__":
+    # Example usage
+    model_name = "Vilyam888/Code_analyze.1.0"
+    
+    print("Loading model...")
+    model, tokenizer = load_model_and_tokenizer(model_name)
+    
+    prompt = "Проанализируй этот код:\ndef hello():\n    print('Hello, World!')"
+    
+    print(f"\nPrompt: {prompt}\n")
+    print("Generating response...")
+    
+    response = generate_response(model, tokenizer, prompt)
+    print(f"\nResponse: {response}")