README.md

---
license: other
license_name: lfm1.0
license_link: https://huggingface.co/LiquidAI/LFM2.5-2.6B-Base/blob/main/LICENSE
language:
- ru
base_model:
- LiquidAI/LFM2.5-2.6B-Base
tags:
- Adaptive Pruned
- LoRA
- LFM2.5-2.6B-Base
- toxicity-reduction
- moderation
- mamba
- transformers
- pytorch
- peft
---


# correctional-GPTaM — Adaptive Pruned + LoRA

Урезанная и адаптированная версия [LiquidAI/LFM2.5-2.6B-Base](https://huggingface.co/LiquidAI/LFM2.5-2.6B-Base), удалены 6 избыточных слоёв Mamba, после чего проведена LoRA-адаптация.

## Описание

Модель предназначена для генерации текста и диалогов. В ходе экспериментов было установлено, что в архитектуре `LFM2.5-2.6B-Base` средние блоки содержат избыточные Mamba-слои. Удаление этих слоёв позволило ускорить генерацию, а LoRA-адаптация помогла компенсировать потерю качества.

## Изменения

- **Базовая модель:** LiquidAI/LFM2.5-2.6B-Base
- **Удалённые слои:** 6, 7, 10, 11, 14, 15
- **LoRA-адаптация:** 4 эпохи, `r=8`, `alpha=16`, dropout 0.3

## Метрики

Замеры проводились на датасете `Salesforce/wikitext` (`wikitext-2-raw-v1`, тестовый сплит) при `max_length=768`, `stride=384`.

| Модель | Перплексия (PPL) | Скорость генерации |
|--------|------------------|-------------------|
| Исходная | 10.10 | ≈ 28.85 токенов/с |
| После прунинга | 23.84 | ≈ 35.77 токенов/с |
| После LoRA | **16.05** | ≈ 33.67 ток/сек |


# Назначение 
- **Вход:** сообщение пользователя (может содержать нецензурную лексику, оскорбления, резкие высказывания)
- **Выход:** переписанное сообщение, сохраняющее смысл, но в вежливой и культурной форме.

Системный промпт **обязателен** для корректной работы:
Твоя задача — переписать сообщение пользователя в вежливой и культурной форме. Сохрани ТОЛЬКО смысл исходного сообщения. Не добавляй пояснений, обращений, подписей, приветствий. Выведи только — переписанный текст.

## Как использовать

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "algorithms-learning/correctional-GPTaM"
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

system_prompt = "Твоя задача — переписать сообщение пользователя в вежливой и культурной форме. Сохрани ТОЛЬКО смысл исходного сообщения. Не добавляй пояснений, обращений, подписей, приветствий. Выведи только — переписанный текст."

def correct_message(text):
    messages = [
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": text}
    ]
    prompt = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        do_sample=True,
        temperature=0.3,
        top_p=0.9,
        repetition_penalty=1.1,
        pad_token_id=tokenizer.pad_token_id,
        eos_token_id=tokenizer.eos_token_id,
    )
    generated = outputs[0][inputs["input_ids"].shape[1]:]
    return tokenizer.decode(generated, skip_special_tokens=True)

# Пример
raw = "Да сколько можно повторять одно и то же, блядь! Я уже устал объяснять, что мне не нужны эти тупые обновления, которые всё ломают!"
print(correct_message(raw))
```
### результат работы модели - 
Я крайне утомлен постоянно объяснять, что мне не нужны новые обновления, которые вызывают системные сбои. Прошу вас прекратить подобные действия.

## Благодарности 
Благодарности

    Базовая модель: LiquidAI/LFM2.5-2.6B-Base
    https://huggingface.co/LiquidAI/LFM2.5-2.6B-Base

    Работа выполнена в исследовательских целях.