Upload README.md with huggingface_hub

README.md

@@ -0,0 +1,72 @@
+---
+license: mit
+tags:
+- interpretability
+- activation-steering
+- gpt2
+- sparse-autoencoder
+---
+
+# gpt2-steering-denoiser
+
+Два небольших denoiser'а (MLP + alpha-conditioning), обученные корректировать негативный побочный эффект activation steering на GPT-2 small.
+
+Полный код, методология и разбор результатов: **[github.com/trtbfn/tbank_mech_interp](https://github.com/trtbfn/tbank_mech_interp)** (см. `REPORT.md`).
+
+## Задача
+
+Стиринг `h̃ = h + α·v` (где `v` — вектор из SAE-декодера) усиливает нужное свойство в генерации, но при росте `α` разваливает связность текста. Оба чекпойнта учатся исправлять это, не убирая сам стиринг.
+
+## Чекпойнты
+
+- **`denoiser.pt`** — коррекция на слое инъекции (слой 6 из 12): `h̃ = denoiser(h + α·v, α/300)`. Стабильнее по всей сетке `α ∈ {32, 128, 256}`, разброс perplexity относительно plain steering — в пределах ±110.
+- **`denoiser_L8.pt`** — коррекция ниже по потоку, на слое 8. Обучен на отдельной задаче (парные clean/corrupted активации слоя 8). Даёт лучший наблюдавшийся в проекте результат (`weather`, α=128: perplexity 583 против 1110 у сырого стиринга, concept-активация выше) при доминировании по обеим осям одновременно, но менее предсказуем на других доменах (разброс шире, есть выбросы).
+
+Ни один из двух не доминирует систематически над другим — выбор зависит от того, что важнее: предсказуемость (`denoiser.pt`) или пиковый эффект (`denoiser_L8.pt`). Подробное сравнение — §6 отчёта.
+
+## Архитектура
+
+```python
+class Denoiser(nn.Module):
+    def __init__(self, d_model=768, hidden_mult=4):
+        super().__init__()
+        hidden = d_model * hidden_mult
+        self.net = nn.Sequential(
+            nn.Linear(d_model + 1, hidden),  # +1 — conditioning на alpha/ALPHA_MAX_COND
+            nn.GELU(),
+            nn.Linear(hidden, hidden),
+            nn.GELU(),
+            nn.Linear(hidden, d_model),
+        )
+
+    def forward(self, h, alpha_norm=None):
+        ...
+        return h + self.net(torch.cat([h, alpha_norm], dim=-1))  # residual-формулировка
+```
+
+Полный код в `denoiser.py` репозитория.
+
+## Использование
+
+```python
+import torch
+from denoiser import Denoiser, ALPHA_MAX_COND
+
+denoiser = Denoiser()
+denoiser.load_state_dict(torch.load("denoiser.pt")["state_dict"])
+denoiser.eval()
+
+# h — активация residual stream (768,) на слое 6, alpha — сила стиринга
+h_corrected = denoiser(h + alpha * v, alpha / ALPHA_MAX_COND)
+```
+
+Для `denoiser_L8.pt` — та же архитектура, но применяется хуком на слое 8, при этом стиринг на слое 6 не трогается (см. `eval_steering.py`, метод `denoised_downstream`).
+
+## Обучение
+
+- **Модель:** GPT-2 small (`transformer_lens`)
+- **Данные:** WikiText-2 (~3120 абзацев → ~396K активаций), без пересечения с валидационными доменами
+- **`denoiser.pt`:** корруптирование `h + α·u` (u — случайное единичное направление, α ~ U[0,300]), 300 эпох
+- **`denoiser_L8.pt`:** парные данные (чистая/протёкшая активация слоя 8 при случайном возмущении на слое 6), 300 эпох
+
+Детали и все найденные по пути ошибки (data leakage, несогласованность conditioning, невыполнимая схема зашумления) — в `REPORT.md` репозитория.