Vilyam888 commited on
Commit
9d7f0ce
·
verified ·
1 Parent(s): 04a6c52

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +123 -123
README.md CHANGED
@@ -1,123 +1,123 @@
1
- ---
2
- library_name: transformers
3
- license: apache-2.0
4
- base_model: Qwen/Qwen2.5-Coder-3B-Instruct
5
- pipeline_tag: text-generation
6
- tags:
7
- - code
8
- - code-analysis
9
- - qwen
10
- - qwen2
11
- - text-generation
12
- - transformers
13
- - fine-tuned
14
- ---
15
-
16
- # Code Analyzer Model
17
-
18
- Fine-tuned версия модели Qwen2.5-Coder-3B-Instruct для анализа кода и ответов на вопросы о программировании.
19
-
20
- ## Описание модели
21
-
22
- Эта модель была обучена на датасете ITOG для анализа кода и предоставления ответов на вопросы, связанные с программированием. Модель основана на Qwen2.5-Coder-3B-Instruct и дообучена с использованием LoRA (Low-Rank Adaptation).
23
-
24
- ## Быстрый старт
25
-
26
- Вы можете использовать эту модель прямо в интерфейсе Hugging Face с помощью кнопки "Use this model" или загрузить локально.
27
-
28
- ## Использование
29
-
30
- ### С помощью transformers
31
-
32
- ```python
33
- from transformers import AutoModelForCausalLM, AutoTokenizer
34
- import torch
35
-
36
- model_name = "Vilyam888/Code_analyze.1.0"
37
-
38
- tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
39
- model = AutoModelForCausalLM.from_pretrained(
40
- model_name,
41
- torch_dtype=torch.bfloat16,
42
- device_map="auto",
43
- trust_remote_code=True
44
- )
45
-
46
- # Формат запроса
47
- prompt = "Проанализируй этот код:\ndef hello():\n print('Hello, World!')"
48
-
49
- # Форматирование в стиле обучения
50
- text = f"{prompt}\n\nОтвет:\n"
51
-
52
- inputs = tokenizer(text, return_tensors="pt").to(model.device)
53
-
54
- with torch.no_grad():
55
- outputs = model.generate(
56
- **inputs,
57
- max_new_tokens=512,
58
- temperature=0.7,
59
- top_p=0.8,
60
- top_k=20,
61
- repetition_penalty=1.05,
62
- do_sample=True
63
- )
64
-
65
- response = tokenizer.decode(outputs[0], skip_special_tokens=True)
66
- print(response)
67
- ```
68
-
69
- ### С помощью pipeline
70
-
71
- ```python
72
- from transformers import pipeline
73
-
74
- model_name = "Vilyam888/Code_analyze.1.0"
75
-
76
- generator = pipeline(
77
- "text-generation",
78
- model=model_name,
79
- tokenizer=model_name,
80
- trust_remote_code=True,
81
- device_map="auto"
82
- )
83
-
84
- prompt = "Объясни, что делает этот код:\ndef factorial(n):\n if n <= 1:\n return 1\n return n * factorial(n-1)"
85
- text = f"{prompt}\n\nОтвет:\n"
86
-
87
- result = generator(
88
- text,
89
- max_new_tokens=512,
90
- temperature=0.7,
91
- top_p=0.8,
92
- top_k=20,
93
- repetition_penalty=1.05,
94
- do_sample=True
95
- )
96
-
97
- print(result[0]["generated_text"])
98
- ```
99
-
100
- ## Детали обучения
101
-
102
- - **Базовая модель:** Qwen/Qwen2.5-Coder-3B-Instruct
103
- - **Метод обучения:** LoRA (Low-Rank Adaptation)
104
- - **Параметры LoRA:**
105
- - `r`: 16
106
- - `lora_alpha`: 32
107
- - `lora_dropout`: 0.05
108
- - **Фреймворк:** TRL (Transformer Reinforcement Learning)
109
- - **Формат данных:** JSONL с полями `input` и `output`
110
-
111
- ## Ограничения
112
-
113
- - Модель обучена на русском языке для анализа кода
114
- - Может генерировать неточные или неполные ответы
115
- - Требует GPU для эффективной работы
116
-
117
- ## Лицензия
118
-
119
- Apache 2.0
120
-
121
- ## Авторы
122
-
123
- Fine-tuned by Vilyam888
 
1
+ ---
2
+ library_name: transformers
3
+ license: apache-2.0
4
+ base_model: Qwen/Qwen2.5-Coder-3B-Instruct
5
+ pipeline_tag: text-generation
6
+ tags:
7
+ - code
8
+ - code-analysis
9
+ - qwen
10
+ - qwen2
11
+ - text-generation
12
+ - transformers
13
+ - fine-tuned
14
+ ---
15
+
16
+ # Code Analyzer Model
17
+
18
+ Fine-tuned версия модели Qwen2.5-Coder-3B-Instruct для анализа кода и ответов на вопросы о программировании.
19
+
20
+ ## Описание модели
21
+
22
+ Эта модель предназначена для оцекнивания кода и выявления слабых и сильных мест в решении связанные с программированием. Модель основана на Qwen2.5-Coder-3B-Instruct и дообучена с использованием LoRA (Low-Rank Adaptation).
23
+
24
+ ## Быстрый старт
25
+
26
+ Вы можете использовать эту модель прямо в интерфейсе Hugging Face с помощью кнопки "Use this model" или загрузить локально.
27
+
28
+ ## Использование
29
+
30
+ ### С помощью transformers
31
+
32
+ ```python
33
+ from transformers import AutoModelForCausalLM, AutoTokenizer
34
+ import torch
35
+
36
+ model_name = "Vilyam888/Code_analyze.1.0"
37
+
38
+ tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
39
+ model = AutoModelForCausalLM.from_pretrained(
40
+ model_name,
41
+ torch_dtype=torch.bfloat16,
42
+ device_map="auto",
43
+ trust_remote_code=True
44
+ )
45
+
46
+ # Формат запроса
47
+ prompt = "Проанализируй этот код:\ndef hello():\n print('Hello, World!')"
48
+
49
+ # Форматирование в стиле обучения
50
+ text = f"{prompt}\n\nОтвет:\n"
51
+
52
+ inputs = tokenizer(text, return_tensors="pt").to(model.device)
53
+
54
+ with torch.no_grad():
55
+ outputs = model.generate(
56
+ **inputs,
57
+ max_new_tokens=512,
58
+ temperature=0.7,
59
+ top_p=0.8,
60
+ top_k=20,
61
+ repetition_penalty=1.05,
62
+ do_sample=True
63
+ )
64
+
65
+ response = tokenizer.decode(outputs[0], skip_special_tokens=True)
66
+ print(response)
67
+ ```
68
+
69
+ ### С помощью pipeline
70
+
71
+ ```python
72
+ from transformers import pipeline
73
+
74
+ model_name = "Vilyam888/Code_analyze.1.0"
75
+
76
+ generator = pipeline(
77
+ "text-generation",
78
+ model=model_name,
79
+ tokenizer=model_name,
80
+ trust_remote_code=True,
81
+ device_map="auto"
82
+ )
83
+
84
+ prompt = "Объясни, что делает этот код:\ndef factorial(n):\n if n <= 1:\n return 1\n return n * factorial(n-1)"
85
+ text = f"{prompt}\n\nОтвет:\n"
86
+
87
+ result = generator(
88
+ text,
89
+ max_new_tokens=512,
90
+ temperature=0.7,
91
+ top_p=0.8,
92
+ top_k=20,
93
+ repetition_penalty=1.05,
94
+ do_sample=True
95
+ )
96
+
97
+ print(result[0]["generated_text"])
98
+ ```
99
+
100
+ ## Детали обучения
101
+
102
+ - **Базовая модель:** Qwen/Qwen2.5-Coder-3B-Instruct
103
+ - **Метод обучения:** LoRA (Low-Rank Adaptation)
104
+ - **Параметры LoRA:**
105
+ - `r`: 16
106
+ - `lora_alpha`: 32
107
+ - `lora_dropout`: 0.05
108
+ - **Фреймворк:** TRL (Transformer Reinforcement Learning)
109
+ - **Формат данных:** JSONL с полями `input` и `output`
110
+
111
+ ## Ограничения
112
+
113
+ - Модель обучена на русском языке для анализа кода
114
+ - Может генерировать неточные или неполные ответы
115
+ - Требует GPU для эффективной работы
116
+
117
+ ## Лицензия
118
+
119
+ Apache 2.0
120
+
121
+ ## Авторы
122
+
123
+ Fine-tuned by Vilyam888