| --- |
| license: mit |
| tags: |
| - interpretability |
| - activation-steering |
| - gpt2 |
| - sparse-autoencoder |
| --- |
| |
| # gpt2-steering-denoiser |
|
|
| Два небольших denoiser'а (MLP + alpha-conditioning), обученные корректировать негативный побочный эффект activation steering на GPT-2 small. |
|
|
| Полный код, методология и разбор результатов: **[github.com/trtbfn/tbank_mech_interp](https://github.com/trtbfn/tbank_mech_interp)** (см. `REPORT.md`). |
|
|
| ## Задача |
|
|
| Стиринг `h̃ = h + α·v` (где `v` — вектор из SAE-декодера) усиливает нужное свойство в генерации, но при росте `α` разваливает связность текста. Оба чекпойнта учатся исправлять это, не убирая сам стиринг. |
|
|
| ## Чекпойнты |
|
|
| - **`denoiser.pt`** — коррекция на слое инъекции (слой 6 из 12): `h̃ = denoiser(h + α·v, α/300)`. Стабильнее по всей сетке `α ∈ {32, 128, 256}`, разброс perplexity относительно plain steering — в пределах ±110. |
| - **`denoiser_L8.pt`** — коррекция ниже по потоку, на слое 8. Обучен на отдельной задаче (парные clean/corrupted активации слоя 8). Даёт лучший наблюдавшийся в проекте результат (`weather`, α=128: perplexity 583 против 1110 у сырого стиринга, concept-активация выше) при доминировании по обеим осям одновременно, но менее предсказуем на других доменах (разброс шире, есть выбросы). |
| |
| Ни один из двух не доминирует систематически над другим — выбор зависит от того, что важнее: предсказуемость (`denoiser.pt`) или пиковый эффект (`denoiser_L8.pt`). Подробное сравнение — §6 отчёта. |
| |
| ## Архитектура |
| |
| ```python |
| class Denoiser(nn.Module): |
| def __init__(self, d_model=768, hidden_mult=4): |
| super().__init__() |
| hidden = d_model * hidden_mult |
| self.net = nn.Sequential( |
| nn.Linear(d_model + 1, hidden), # +1 — conditioning на alpha/ALPHA_MAX_COND |
| nn.GELU(), |
| nn.Linear(hidden, hidden), |
| nn.GELU(), |
| nn.Linear(hidden, d_model), |
| ) |
| |
| def forward(self, h, alpha_norm=None): |
| ... |
| return h + self.net(torch.cat([h, alpha_norm], dim=-1)) # residual-формулировка |
| ``` |
| |
| Полный код в `denoiser.py` репозитория. |
| |
| ## Использование |
| |
| ```python |
| import torch |
| from denoiser import Denoiser, ALPHA_MAX_COND |
| |
| denoiser = Denoiser() |
| denoiser.load_state_dict(torch.load("denoiser.pt")["state_dict"]) |
| denoiser.eval() |
| |
| # h — активация residual stream (768,) на слое 6, alpha — сила стиринга |
| h_corrected = denoiser(h + alpha * v, alpha / ALPHA_MAX_COND) |
| ``` |
| |
| Для `denoiser_L8.pt` — та же архитектура, но применяется хуком на слое 8, при этом стиринг на слое 6 не трогается (см. `eval_steering.py`, метод `denoised_downstream`). |
| |
| ## Обучение |
| |
| - **Модель:** GPT-2 small (`transformer_lens`) |
| - **Данные:** WikiText-2 (~3120 абзацев → ~396K активаций), без пересечения с валидационными доменами |
| - **`denoiser.pt`:** корруптирование `h + α·u` (u — случайное единичное направление, α ~ U[0,300]), 300 эпох |
| - **`denoiser_L8.pt`:** парные данные (чистая/протёкшая активация слоя 8 при случайном возмущении на слое 6), 300 эпох |
| |
| Детали и все найденные по пути ошибки (data leakage, несогласованность conditioning, невыполнимая схема зашумления) — в `REPORT.md` репозитория. |
| |
