Upload folder using huggingface_hub

README.md

@@ -15,30 +15,31 @@ tags:
 
 # Broken_Code_Generation1.0
 
-`Broken_Code_Generation1.0` - это смерженная дообученная версия `Qwen/Qwen2.5-Coder-3B-Instruct`.
+`Broken_Code_Generation1.0` - это модель для генерации задач по программированию в стиле ML bugfix.
 
-Модель предназначена для генерации **ML bugfix-задач** в **строгом JSON-формате**, похожем на формат датасета, на котором она дообучалась.
+Если совсем просто: ты задаешь **3 тега** и **сложность**, а модель возвращает **одну готовую задачу** в JSON-формате: с названием, контекстом, тестами, требованиями, ограничениями и сломанным кодом, который нужно исправить.
 
-Если простыми словами: ты подаешь модели **3 тега** и **уровень сложности**, а на выходе получаешь **одну готовую задачу по программированию** с контекстом, тестами, требованиями, ограничениями и сломанным кодом, который нужно исправить.
+Модель основана на `Qwen/Qwen2.5-Coder-3B-Instruct`, была дообучена через `QLoRA`, а затем смержена в полноценную модель для инференса и публикации.
 
 Built with Qwen.
 
-## Что модель принимает на вход
+## Что делает модель
 
-На вход подается:
+Модель принимает:
 
 - ровно 3 тега
-- один уровень сложности: `easy`, `medium` или `hard`
+- одну сложность: `easy`, `medium` или `hard`
 
-На выходе модель должна вернуть:
+И возвращает:
 
-- один JSON-объект в формате датасета
+- один JSON-объект
 - без Markdown
-- без лишних пояснений
+- без дополнительных пояснений
+- в формате, похожем на обучающий датасет
 
-## Формат ответа
+## Что будет в ответе
 
-Ожидается JSON-объект со следующими полями:
+На выходе ожидается JSON с такими полями:
 
 - `id`
 - `title`
@@ -53,66 +54,40 @@ Built with Qwen.
 - `constraints`
 - `broken_code`
 
-## Для чего подходит модель
+## Где модель полезна
 
-- генерация синтетических ML bugfix-задач
-- подготовка примеров для обучения и оценки
-- сборка учебных датасетов по программированию
-- проверка качества структурированной генерации
-- работа в связке с `Code Analyze`, когда нужно сначала проанализировать код, а затем сгенерировать задачу или сценарий исправления в том же стиле
+Эта модель подойдет, если тебе нужно:
 
-## Совместимость с Code Analyze
-
-Эту модель можно использовать вместе с `Code Analyze`.
-
-Практически это выглядит так:
-
-- `Code Analyze` разбирает код, находит проблемный участок или формирует краткое описание ошибки
-- затем эта модель по тегам и сложности генерирует структурированную ML bugfix-задачу в JSON-формате
-- такой сценарий удобен для учебных пайплайнов, генерации примеров и полуавтоматической подготовки задач
-
-## Понятный пример инференса
-
-Самый простой способ запустить модель в этом проекте:
-
-```powershell
-.\.venv\Scripts\python.exe .\HF_Release\infer_merged_model.py --tag1 TabularData --tag2 Statistics --tag3 DataPreprocessing --difficulty medium
-```
-
-Что делает эта команда:
-
-- загружает смерженную модель
-- передает ей 3 тега и сложность `medium`
-- сохраняет готовый JSON в `HF_Release/inference_output/generated_task.json`
-- сохраняет сырой текст ответа в `HF_Release/inference_output/raw_output.txt`
-
-Если хочешь другой пример, можно запускать так:
-
-```powershell
-.\.venv\Scripts\python.exe .\HF_Release\infer_merged_model.py --tag1 Classification --tag2 Evaluation --tag3 Metrics --difficulty hard
-```
-
-### Что можно менять
-
-- `--tag1`, `--tag2`, `--tag3` - любые 3 нужных тега
-- `--difficulty` - `easy`, `medium` или `hard`
-
-Если используешь модель вместе с `Code Analyze`, обычно удобно:
-
-- сначала получить краткий анализ или описание проблемы
-- потом выбрать 3 подходящих тега
-- затем вызвать генерацию задачи с нужной сложностью
+- генерировать новые ML bugfix-задачи
+- собирать учебные примеры для студентов
+- делать синтетические данные для обучения и тестирования
+- быстро получать задачи в одном и том же структурированном формате
+- использовать ее вместе с анализом кода
 
-### Если нужен запуск через Python и `transformers`
+## Основное подключение
 
-Ниже более прямой пример без вспомогательного скрипта:
+Подключение через `transformers` напрямую:
 
 ```python
 import json
-import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+model_path = "Vilyam888/Broken_Code_Generation.1.0"
 
-model_path = "Vilyam888/Broken_Code_Generation1.0"
+tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
+if tokenizer.pad_token is None:
+    tokenizer.pad_token = tokenizer.eos_token
+tokenizer.padding_side = "left"
+
+model = AutoModelForCausalLM.from_pretrained(
+    model_path,
+    torch_dtype=torch.bfloat16 if torch.cuda.is_available() and torch.cuda.is_bf16_supported() else (
+        torch.float16 if torch.cuda.is_available() else torch.float32
+    ),
+    device_map="auto",
+    trust_remote_code=True,
+)
 
 SYSTEM_PROMPT = (
     "Ты генерируешь новую ML bugfix-задачу строго в формате объектов из датасета. "
@@ -154,23 +129,6 @@ messages = [
     },
 ]
 
-tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
-if tokenizer.pad_token is None:
-    tokenizer.pad_token = tokenizer.eos_token
-tokenizer.padding_side = "left"
-
-dtype = torch.bfloat16 if torch.cuda.is_available() and torch.cuda.is_bf16_supported() else (
-    torch.float16 if torch.cuda.is_available() else torch.float32
-)
-
-model = AutoModelForCausalLM.from_pretrained(
-    model_path,
-    torch_dtype=dtype,
-    device_map="auto",
-    trust_remote_code=True,
-)
-model.eval()
-
 prompt = tokenizer.apply_chat_template(
     messages,
     tokenize=False,
@@ -195,28 +153,102 @@ completion = tokenizer.decode(completion_tokens, skip_special_tokens=True).strip
 print(completion)
 ```
 
+После этого модели нужно передать:
+
+- 3 тега
+- сложность `easy`, `medium` или `hard`
+- промпт с просьбой вернуть один JSON-объект
+
+Если нужен более простой запуск именно внутри этого проекта, ниже есть второй вариант через готовый скрипт.
+
+Если говорить совсем коротко: для обычного подключения другим людям достаточно `transformers`, `torch` и имени репозитория:
+
+- `Vilyam888/Broken_Code_Generation.1.0`
+
+## Основной инференс в проекте
+
+Самый простой и понятный способ запуска в этом проекте:
+
+```powershell
+.\.venv\Scripts\python.exe .\HF_Release\infer_merged_model.py --tag1 TabularData --tag2 Statistics --tag3 DataPreprocessing --difficulty medium
+```
+
+Что произойдет после запуска:
+
+- загрузится смерженная модель
+- в модель передадутся 3 тега и сложность
+- модель сгенерирует задачу
+- готовый JSON сохранится в `HF_Release/inference_output/generated_task.json`
+- сырой текст ответа сохранится в `HF_Release/inference_output/raw_output.txt`
+
+Еще один пример:
+
+```powershell
+.\.venv\Scripts\python.exe .\HF_Release\infer_merged_model.py --tag1 Classification --tag2 Evaluation --tag3 Metrics --difficulty hard
+```
+
+## Что можно менять
+
+В основной команде ты обычно меняешь только это:
+
+- `--tag1`, `--tag2`, `--tag3` - любые 3 нужных тега
+- `--difficulty` - `easy`, `medium` или `hard`
+
+Например, если хочешь другую генерацию, просто подстав��яешь другие значения в ту же команду.
+
+## Как это работает
+
+Внутри все довольно просто:
+
+1. из трех тегов собирается `topic_tags`
+2. в промпт подставляются теги и сложность
+3. модель генерирует текст
+4. из текста извлекается JSON
+5. JSON сохраняется в итоговый файл
+
+То есть в обычной работе тебе не нужно менять код модели. Достаточно менять входные теги и сложность.
+
+## Совместимость с Code Analyze
+
+Эта модель хорошо работает в связке с [`Vilyam888/Code_analyze.1.0`](https://huggingface.co/Vilyam888/Code_analyze.1.0).
+
+Удобный сценарий такой:
+
+1. `Code_analyze.1.0` анализирует код и определяет тип ошибки
+2. по этому анализу выбираются подходящие теги
+3. `Broken_Code_Generation1.0` генерирует новую bugfix-задачу в нужном формате
+
+Это удобно для:
+
+- учебных пайплайнов
+- генерации новых примеров
+- полуавтоматической подготовки задач
+- систем, где сначала анализируется решение, а потом создается похожая задача на закрепление
+
 ## Как лучше формулировать запрос
 
-Модель обычно работает лучше, если:
+Модель обычно отвечает лучше, если:
 
 - давать ровно 3 тега
 - явно указывать сложность
-- просить ровно один JSON-объект
-- отдельно уточнять, что не нужно добавлять Markdown и комментарии
+- просить вернуть ровно один JSON-объект
+- отдельно писать, что не нужно добавлять Markdown и пояснения
+
+## Ограничения
+
+Важно помнить:
+
+- модель все еще может иногда выдавать неполный JSON
+- качество зависит от промпта и параметров генерации
+- иногда ответы могут быть стилистически похожими друг на друга
+- генерации лучше просматривать вручную перед использованием в важном датасете или продукте
 
 ## Кратко об обучении
 
 - Базовая модель: `Qwen/Qwen2.5-Coder-3B-Instruct`
 - Метод дообучения: `QLoRA`
-- Тип итоговой модели: merged-модель после вливания LoRA-адаптера в базовую
-- Целевая задача: структурированная генерация ML bugfix-задач
-
-## Ограничения
-
-- модель все еще может иногда выдавать неполный или невалидный JSON
-- качество заметно зависит от формулировки промпта
-- возможны повторы по стилю и структуре задач
-- перед использованием в датасете, бенчмарке или учебном продукте генерации стоит просматривать вручную
+- Итоговая версия: merged-модель после вливания LoRA-адаптера в базовую
+- Целевая задача: генерация структурированных ML bugfix-задач
 
 ## Что лежит в репозитории
 
@@ -232,14 +264,15 @@ print(completion)
 
 Этот репозиторий является производной работой от `Qwen/Qwen2.5-Coder-3B-Instruct`.
 
-Базовая модель распространяется по лицензии `Qwen RESEARCH LICENSE AGREEMENT`. Hugging Face лицензия  `license: other`.
+Базовая модель распространяется по лицензии `Qwen RESEARCH LICENSE AGREEMENT`. На Hugging Face для этой модели используется `license: other`.
 
 Важно:
 
 - лицензия Qwen ориентирована на research / non-commercial использование
-- для коммерческого использования нужно отдельно внимательно проверить условия исходной лицензии
+- для коммерческого использования нужно отдельно проверить условия исходной лицензии
 - при распространении нужно сохранять `LICENSE` и `NOTICE`
 
 ## Атрибуция
 
 Improved using Qwen.
+