Update README.md

README.md

@@ -1,3 +1,253 @@
----
-license: mit
----
+---
+license: mit
+language:
+- ru
+base_model:
+- Qwen/Qwen3-0.6B
+---
+
+# RAGU-lm-0.6B
+RAGU-lm is a fine-tuned Qwen-3-0.6B. The main goal is to extract structural information for knowledge graph building purposes in Russian language.
+
+### Model descriprion
+Supported tasks:
+1. Extract unnormalized entities from a given text.
+2. Normalize entities.
+3. Generate a description of an entity based on the given text.
+4. Identify relations between two entities and generate their description from the given text.
+
+The model was trained using four specialized instruction formats, one per task
+
+**System prompt**:
+```
+Вы - эксперт в области анализа текстов и извлечения семантической информации из них.
+```
+
+**Entity extraction**:
+```
+Распознайте все именованные сущности в тексте и выпишите их список с новой строки.\n\nТекст: {input_text}\n\nИменованные сущности:
+```
+
+<details>
+<summary>Example</summary>
+**Input**:
+Распознайте все именованные сущности в тексте и выпишите их список с новой строки.
+
+Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
+
+Именованные сущности: 
+
+ожидается такой ответ:
+
+Семья Обамы
+Обамы
+приобрела дом
+Вашингтоне
+8,1 млн долларов
+Барак Обама
+Обама
+президент США
+президент
+США
+Мишель
+приобрели жильё
+Белого дома
+президента
+в январе
+Тюдоров
+столицы США
+Калорама
+дипломаты
+лоббисты
+политики
+Барака
+Саше
+два года
+восемью
+8,1 миллиона долларов
+пресс-секретарю экс-президента США
+пресс-секретарю
+президента США
+Билла Клинтона
+Джо Локхарту
+пресс-службу Национальной футбольной лиги США
+Национальной футбольной лиги США
+Вашингтона
+Иванку Трамп
+Джареда Кушнера
+советниками Белого дома
+Нью-Йорка
+в начале 2017 года
+Госсекрет��рь США
+Госсекретарь
+Рекс Тиллерсон
+миссис Обама
+представитель Обамы
+Семья президента Обамы
+Чикаго
+третьем
+главою Белого дома
+</details>
+
+
+**Normalization**:
+```
+Выполните нормализацию именованной сущности, встретившейся в тексте.\n\nИсходная (ненормализованная) именованная сущность: {source_entity}\n\nТекст: {source_text}\n\nНормализованная именованная сущность:
+```
+
+<details>
+<summary>Example</summary>
+
+**Input**:
+Выполните нормализацию именованной сущности, встретившейся в тексте.
+
+Исходная (ненормализованная) именованная сущность: пресс-секретарю
+
+Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
+
+Нормализованная именованная сущность: 
+
+**Expected output**:
+
+пресс-секретарь
+</details>
+
+**Entity description generation**:
+
+```
+Напишите, что означает именованная сущность в тексте, то есть раскройте её смысл относительно текста.\n\nИменованная сущность: {normalized_entity}\n\nТекст: {source_text}\n\nСмысл именованной сущности:
+```
+
+<details>
+<summary>Example</summary>
+
+**Input**:
+Напишите, что означает именованная сущность в тексте, то есть раскройте её смысл относительно текста.
+
+Именованная сущность: пресс-секретарь
+
+Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время ��елились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
+
+Смысл именованной сущности: 
+
+**Expected output**:
+
+Бывший представитель СМИ экс-президента США Билла Клинтона.
+</details>
+
+**Relation extraction**:
+
+```
+Напишите, что означает отношение между двумя именованными сущностями в тексте, то есть раскройте смысл этого отношения относительно текста (либо напишите прочерк, если между двумя именованными сущностями отсутствует отношение).\n\nПервая именованная сущность: {first_normalized_entity}\n\nВторая именованная сущность: {second_normalized_entity}\n\nТекст: {source_text}\n\nСмысл отношения между двумя именованными сущностями:
+```
+
+<details>
+<summary>Example</summary>
+
+**Input:**
+Напишите, что означает отношение между двумя именованными сущностями в тексте, то есть раскройте смысл этого отношения относительно текста (либо напишите прочерк, если между двумя именованными сущностями отсутствует отношение).
+
+Первая именованная сущность: Джо Локхарт
+
+Вторая именованная сущность: пресс-служба Национальной футбольной лиги США
+
+Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги СШ��. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
+
+Смысл отношения между двумя именованными сущностями: 
+
+**Expected output:**
+Возглавляет пресс-службу Национальной футбольной лиги США.
+</details>
+
+
+### Usage
+
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+MODEL_ID = "RaguTeam/RAGU-lm"
+
+tokenizer = AutoTokenizer.from_pretrained(
+    MODEL_ID,
+    use_fast=True,
+    trust_remote_code=True,
+)
+
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_ID,
+    dtype="auto",        
+    device_map="auto",       
+    trust_remote_code=True,
+)
+
+system_prompt = "Вы - эксперт в области анализа текстов и извлечения семантической информации из них."
+
+# This is an example for entity extraction.  You can paste here any of the examples shown above.
+
+prompt = """
+Распознайте все именованные сущности в тексте и выпишите их список с новой строки.\n\nТекст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.\n\nИменованные сущности: 
+"""
+
+
+messages = [[
+    {'role': 'system', 'content': system_prompt},
+    {'role': 'user', 'content': prompt}
+]]
+
+prompt = tokenizer.apply_chat_template(
+    messages,
+    tokenize=False,
+    add_generation_prompt=True
+)
+
+inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+
+gen_ids = model.generate(
+    **inputs,
+    max_new_tokens=512,
+    do_sample=True,
+    top_p=0.95,
+    top_k=100,
+    temperature=0.01,
+    eos_token_id=tokenizer.eos_token_id,
+    pad_token_id=tokenizer.pad_token_id,
+)
+
+generated_text = tokenizer.decode(
+    gen_ids[0, inputs["input_ids"].shape[1]:],
+    skip_special_tokens=True
+).strip()
+
+print(generated_text)
+
+```
+
+### Training details
+The model was trained on an improved version of the NEREL training dataset.
+Modifications:
+
+- Adding True Negative examples for relation extraction.
+
+- Adding generated descriptions produced by the Claude model.
+
+### Metrics and comparison
+
+#### Entity extraction
+| Model                 | Precision | Recall | F1 (macro avg.) |
+|-----------------------|----------|---------------|----------------|
+| Qwen-2.5-14B-Instruct | 0.53 | 0.23          | 0.32          |
+| RAGU-lm (Qwen-3-0.6B) |  0.7 | 0.52           | 0.6           |
+
+#### Relation extraction
+| Model                 | Presicion | Recall | F1 (macro avg.) |
+|-----------------------|----------|---------------|----------------|
+| Qwen-2.5-14B-Instruct | 0.73 | 0.69          | 0.69           |
+| RAGU-lm (Qwen-3-0.6B) | 0.84 | 0.71         | 0.71           |
+
+### Generation parameters
+During training and evaluations we set:
+- **Temperature**: 0.0
+- **top_p**: 0.95
+- **top_k**: 100
+
+