File size: 912 Bytes
b7f9cc4
4d362a0
 
 
 
 
 
 
b7f9cc4
 
 
4d362a0
748c975
4d362a0
 
 
 
748c975
4d362a0
 
748c975
4d362a0
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
---
title: The value-output gauge orbit
emoji: 🧭
colorFrom: indigo
colorTo: gray
sdk: gradio
sdk_version: 6.22.0
app_file: app.py
pinned: false
---

# The value-output gauge orbit

Interactive demo. The dominant direction of a head's output projection
moves under a reparameterisation that leaves the model's function
untouched, and the pruning decision it yields moves with it. The
identifiable object ---the OV circuit--- does not move.

Two models, identical in function, two different prunings. English and
Spanish; ViT-B/16 and Pythia-410M.

DOI: https://doi.org/10.5281/zenodo.21630534

---

# La órbita de gauge valor-salida

Demo interactiva. La dirección dominante de la proyección de salida de
una cabeza se desplaza bajo una reparametrización que deja la función
del modelo intacta, y la decisión de poda que produce cambia con ella.
El objeto identificable ---el circuito OV--- no se mueve.