Só Olhando, Obrigado

#1
by juiceb0xc0de - opened

Full disclosure, I'm a bartender from Canada whose full extent of Portuguese immersion is watching Cidade de Deus and throwing on Ana Mazzotti every now and then so I wasn't prepared for just how different the Portuguese and English languages are. I felt like the mechanistic interpretation needed to be delivered in the language the model was trained to use for accessibility to the users who it was intended to be used by. Planning the translation and activations ended up becoming a more involved project than I had anticipated. I had to learn how the Brazilian Portuguese language functioned in both its feminine and masculine forms and the nuances of translating things like telling a story in single syllable words which is not translatable straight across. I wasn't satisfied with a simple AI translation of the 8,965 prompt corpus and found myself immersed in the structure and flow of the Portuguese language for the first time in my life.

I won't claim that the translations are perfect. No native Portuguese speaker has read any of these translations so I can only hope that the collaborative efforts between me and the AI models I worked with on the project are enough to sound at the very least natural enough for consumption.

I enjoyed this atlas project more than the usual "how well did the coding fine-tune improve the model?" I have a new appreciation for a language I've never had reason to stop and pay attention to. The findings of the activation atlas interpretation comparing the English and Portuguese versions have also left many open questions and I believe bilingual and perhaps trilingual comparisons are a new category I will pursue until I find my curiosity satisfied. Perhaps you might find the same interest after reading the atlas I am leaving here today.

If you enjoy this mechanistic interpretation stay tuned for the second half.

~ juiceb0xc0de ~
English version

juiceb0xc0de_stamp_3407

S5-nano em inglês e português, parte 1: o que as ativações mostram

juiceb0xc0de/s5-nano-cgs-portuguese-atlas · juiceb0xc0de/s5-nano-cgs-english-atlas · versão em inglês deste texto

Model Pulse

Passei o maritaca-ai/S5-nano, o modelo de 4.7B da Maritaca AI construído sobre o Qwen3.5-4B, duas vezes pelo Space Cartographics do HF (o Space constrói esses atlas sob demanda): uma vez com os 8,965 prompts em inglês do censo e outra com os mesmos 8,965 prompts em português brasileiro. Depois coloquei os dois atlas um sobre o outro. Os dois são capturas de ativação de entrada de um único checkpoint: o modelo leu cada prompt e a captura registrou o que aconteceu por dentro. Nada foi gerado e nada dentro do modelo foi alterado. Esta é a metade de observar, e tudo aqui foi calculado em CPU a partir dos atlas publicados. A parte 2 é a metade em que o modelo roda de novo e leva cutucadas; os módulos de GPU para ela estão sendo construídos agora, e a maior parte das perguntas em aberto no fim está esperando por eles.

Os números seguem o formato inglês em todo o texto: ponto decimal, vírgula separando milhares. As tabelas são idênticas às da versão em inglês.

Inglês e português usam o modelo de formas diferentes na camada 0, quase idênticas da camada 6 à 24, e diferentes de novo da camada 28 em diante: a correlação de postos do F por entrada, em todos os streams, é 0.64 no início, 0.93 no meio e 0.71 no fim, com o pico na camada 11. A separação tardia está no que os blocos de atenção linear escrevem de volta. Na camada 29 o cosseno de direção inglês-português é 0.85 no linattn_qkv e 0.21 no linattn_out. As direções se separam, mas o mapa sobrevive: na camada 29 do linattn_out as 17 direções de categoria concordam em 0.211, enquanto o arranjo delas umas em relação às outras concorda em 0.944, e uma única rotação rígida leva as direções de 0.21 a 0.99. O português reaproveita a maquinaria de categorias do inglês: 77.1% das entradas que são especialistas em português também são especialistas em inglês, e 94.45% dessas se especializam na mesma categoria. Em português o modelo tem menos especialistas fortes em uso de ferramentas e roleplay e mais especialistas moderados em humor e introspecção, e a causa não foi isolada.

the hump

Escopo. Duas capturas de um único checkpoint: mesmos pesos (fe3a3581), mesmo tokenizador, mesmo código de captura (aa34fe65), mesmo template de chat, todos os 8,965 prompts pareados linha a linha com os mesmos rótulos, sem truncamento. O corpus são 8,965 prompts em 17 rótulos de uso e 175 buckets finos; o censo em português são os mesmos prompts em português brasileiro, então os tokens mudam e todo o resto fica fixo. Salvo indicação em contrário, os resultados usam a posição mean_content, a média sobre os tokens do próprio prompt, com o template e os tokens especiais de fora. A sonda de rótulo de uso é um classificador multinomial de cinco dobras sobre 256 PCs; o acaso dá 6.58%.

Este texto não tem tags por afirmação. A seção Quão certo dá nota a cada achado, e todo número está em src/technical_raw.md com a conta de como foi calculado.

A versão curta

  1. Meio compartilhado, pontas separadas. Inglês e português usam o modelo de formas diferentes na camada 0, quase idênticas da camada 6 à 24, e diferentes de novo da camada 28 em diante.
  2. A separação tardia está em partes específicas. É mais nítida no que os blocos de atenção linear escrevem para fora. As partes que leem continuam bem mais compartilhadas.
  3. As direções se separam, mas o mapa sobrevive. Nas camadas tardias uma categoria já não aponta para o mesmo lado nas duas línguas, mas as categorias mantêm o mesmo arranjo umas em relação às outras.
  4. O português reaproveita a maquinaria de categorias do inglês. 77% das entradas que são especialistas em português também são especialistas em inglês, e 94% dessas se especializam na mesma categoria.
  5. Algumas categorias mudam. Menos especialistas fortes em uso de ferramentas e roleplay em português, mais especialistas moderados em humor e introspecção. A causa não foi isolada.

Seis palavras que você precisa

  • Camada: um andar do prédio. O S5-nano tem 32, numerados de 0 a 31. Um prompt entra no 0 e sobe.
  • Entrada: um medidor num andar. O atlas tem cerca de 1.4 milhão deles. São entradas de camada e stream, então a mesma unidade física pode aparecer em mais de um stream.
  • Stream: uma parte de um andar. Alguns streams leem o que está na esteira, alguns são o trabalho interno, alguns são o que é escrito de volta na esteira.
  • Categoria: os 17 buckets de uso (humor, core_technical, roleplay e por aí vai).
  • Especialista: uma entrada que distingue com força uma categoria das outras. Isso pode significar que ela sobe para aquela categoria ou que desce para ela.
  • Direção: uma categoria não é um medidor só, é um padrão espalhado por milhares. Esse padrão é uma direção, como um rumo de bússola.
    O truque que faz a comparação funcionar: os dois atlas são os mesmos pesos. A entrada 500 de um dado stream no andar 12 é o mesmo medidor nos dois. Então dá para perguntar diretamente a cada medidor se ele faz o mesmo trabalho em português e em inglês.

1. Meio compartilhado, pontas separadas

O que eu olhei. Quatro medidas, andar por andar. Elas são complementares, não independentes: as quatro vêm das mesmas ativações capturadas.

início (camadas 0 a 2) meio (6 a 24) fim (28 a 31)
as entradas se ordenam igual por efeito de categoria (Spearman do F por entrada, todos os streams) 0.64 0.93 0.71
uma categoria aponta para o mesmo lado (cosseno de direção, stream gate) 0.79 0.96 0.73
as mesmas entradas são as mais fortes (sobreposição das 256 de maior F) 43% na camada 0 85% na camada 11 53% na camada 29
os mesmos pares disparam juntos (sobreposição dos 50 pares mais fortes) 10% na camada 0 74% na camada 11 19% na camada 29

O pico é a camada 11. O ponto mais baixo do fim são as camadas 29 e 30.

A direção de cada categoria em inglês é a mais próxima da direção da mesma categoria em português em todas as 32 camadas nos streams mlp, up e gate. Em todos os streams, são 3,664 de 3,672. Os oito erros estão todos no linattn_out tardio: sete na camada 29, um na camada 26.

Frase de balcão: duas portas de entrada, um prédio compartilhado, duas saídas.

2. A separação do fim está em partes específicas

O que eu olhei. O mesmo escore de direção, stream por stream, na camada 29.

stream na camada 29 o que é cosseno de direção, EN vs PT
linattn_z dentro do bloco de atenção linear 0.87
linattn_qkv dentro do bloco de atenção linear 0.85
up MLP, lado de entrada 0.85
gate MLP, lado de entrada 0.67
mlp camada oculta da MLP 0.55
linattn_out o que o bloco escreve de volta no stream 0.21

streams

O linattn_out cai nas camadas 26, 29 e 30 (0.38, 0.21, 0.38). Na camada 25 ainda está em 0.83.

A categoria continua fortemente decodificável a partir do linattn_out nessas camadas nas duas línguas, embora não perfeitamente: uma leitura acerta o nome dela cerca de 70% das vezes em inglês e 67 a 68% em português. Então a informação está lá nas duas. Ela é carregada de outro jeito.

A última camada de atenção completa mostra a mesma coisa por outro ângulo. A concordância de postos dos efeitos de categoria nas cabeças e nas partes de consulta, chave e valor delas é de 0.84 a 0.94 nas camadas 3 a 23, 0.77 na camada 27, e 0.33 na camada 31.

Isso é só uma medida trêmula? A comparação com o modelo-pai argumenta contra isso como a história inteira. Os rankings tardios do linattn_out correlacionam de 0.49 a 0.68 com o atlas do modelo-pai, contra 0.09 a 0.25 entre as duas línguas no S5-nano. Então esses rankings não são uniformemente instáveis. O atlas do modelo-pai foi capturado de outro jeito, então isto não é um teste de piso de ruído nem uma comparação controlada de língua contra treinamento.

Frase de balcão: a separação perto do topo não está em todo lugar. Está no que é escrito de volta.

3. As direções se separam, mas o mapa sobrevive

Este é o achado que mais mudou entre o meu primeiro rascunho e este. A auditoria da Aria puxou ele para a frente.

O que eu olhei. Duas perguntas diferentes sobre as mesmas 17 direções de categoria.

  • Direções: "humor" aponta para o mesmo lado nas duas línguas?
  • Mapa: esqueça para onde cada coisa aponta. "Humor" continua perto de "escrita criativa" e longe de "dados", nas duas línguas? Isso é o arranjo das categorias umas em relação às outras.
    geometry
onde direções concordam mapa concorda
camada 10, mlp 0.947 0.992
camada 29, mlp 0.547 0.956
camada 29, linattn_out 0.211 0.944

Embaralhe qual categoria em português é pareada com qual categoria em inglês e a concordância do mapa desaba: em 1,000 embaralhamentos, o máximo que ela alcançou na camada 29 do linattn_out foi 0.41.

Então no topo do modelo as duas línguas guardam praticamente a mesma disposição de categorias, desenhada em coordenadas diferentes.

Uma exceção que vale saber: a saída da atenção na camada 27, onde a concordância do mapa cai para 0.75. É um stream estreito ali, com largura efetiva abaixo de 9.

Dá para girar um sobre o outro? Pegue as 17 direções em português como uma peça rígida e gire até casar o melhor possível com as 17 em inglês. Na camada 29 do linattn_out o encaixe vai de 0.21 a 0.99. Um pareamento embaralhado chega a 0.78 na média e 0.87 no máximo, então a escala é apertada, mas o pareamento real fica bem acima disso.

Três limites para isso:

  • 17 direções fixam um cantinho de um espaço de 2,560 dimensões. O encaixe não diz nada sobre o resto.
  • Um bom encaixe nas médias por categoria não quer dizer que uma rotação leve qualquer prompt isolado do português para o inglês.
  • O mapa concordar em 0.944 é similaridade forte, não igualdade. Isto não é prova de uma rotação limpa, nem prova de mecanismo nenhum.
    As duas pontas são diferentes em natureza.
linattn_out direções concordam mapa concorda
camada 0 0.61 0.74
camada 29 0.21 0.94

Na entrada, a própria disposição é um tanto diferente entre as línguas. Na saída, a disposição é a mesma e as coordenadas mudaram.

Frase de balcão: perto do topo, português e inglês mantêm o mesmo mapa de assentos. Só giraram a sala.

4. O português reaproveita a maquinaria de categorias do inglês

O que eu olhei. Os especialistas de cada língua, e o que as mesmas entradas são na outra língua. Especialista aqui é uma entrada com q < 0.01 e |AUROC − 0.5| ≥ 0.25 para pelo menos uma categoria.

  • Inglês: 42,018 especialistas. Português: 37,067. Nos dois: 28,582.
  • Dos 28,582 que são especialistas nos dois, 26,996 (94.45%) preferem a mesma categoria.
    O que os especialistas do português são em inglês:
em inglês eles são contagem fatia
especialistas também 28,582 77.1%
sensíveis a categoria, abaixo do corte de especialista 7,821 21.1%
inertes a categoria 664 1.8%

E no sentido contrário: dos 42,018 do inglês, em português 68.0% são especialistas, 28.8% são sensíveis mas abaixo do corte, e 3.2% (1,346) são inertes a categoria.

Há duas coisas diferentes nessa tabela e elas não devem ser misturadas. 8,485 entradas são especialistas em português e não em inglês. Só 664 dessas vão até o ponto de não mostrar efeito de categoria nenhum em inglês. As 664 estão principalmente nas últimas camadas (64, 96, 75 e 61 delas nas camadas 28 a 31).

Nenhum dos atlas tem entradas mortas. "Inerte" quer dizer sem efeito de categoria relevante. Não quer dizer que a entrada esteja muda.

Frase de balcão: não existe um departamento separado de português para separar prompts por função. Cerca de um em cada cinco especialistas do português é só meio-período em inglês, e quase nenhum é estranho.

5. O mesmo andar de triagem, leitura um pouco mais baixa

readout

  • Decodificabilidade da categoria. Uma leitura simples acerta a categoria de um prompt a partir do stream mlp na camada 8 com 80.7% de acurácia em prompts em inglês e 77.7% em português. As duas têm pico na camada 8. A diferença é de 2 a 3.5 pontos pelo meio, 7 pontos na camada 0, cerca de 5.5 nas camadas 28 e 29.
  • Isso mede quão legível a categoria é. Não é uma nota de quão bom o modelo é em português.
  • Espaço de trabalho. A razão de participação do mlp, uma contagem efetiva de dimensões em uso, fica em média cerca de 10% mais baixa para o português nas camadas 6 a 24. É mais baixa em 28 de 32 camadas no mlp e em 31 de 32 no gate.
  • A mesma planta. O mapa de similaridade camada a camada é quase o mesmo nas duas línguas (0.91 a 0.995 por stream). As mesmas camadas estranhas aparecem nas duas, inclusive uma quebra perto da camada 26.
  • Os mesmos prompts estranhos. Um prompt que o modelo trata como incomum em inglês ele trata como incomum em português: 0.77 para o escore de outlier do mlp. A auditoria da Aria removeu o efeito dos 175 buckets finos e do comprimento do prompt nas duas línguas, e ficou em 0.77. Embaralhar os prompts dentro de um bucket derruba isso para perto de zero.
    Frase de balcão: o mesmo andar faz a triagem nas duas línguas, e os rótulos em português saem um pouco mais difíceis de ler.

6. Quais categorias mudam

shared specialists

Especialistas compartilhados (das entradas que são especialistas de uma categoria em qualquer uma das línguas, a fatia que é nas duas): dados 65.7%, design 64.0%, escrita 61.5% no topo; humor 44.1% e uso de ferramentas 35.7% no fundo, entre as categorias grandes o bastante para confiar.

Toda categoria se funde no meio. No stream gate, entre as camadas 6 e 24, 16 das 17 categorias pontuam de 0.92 a 0.99 em direção. Uso de ferramentas é a retardatária, com 0.89 a 0.96.

heatmap

As contagens de especialistas se movem com a língua.

specialist counts

Quanto elas se movem depende de onde fica o corte, então aqui vão três:

corte em |AUROC − 0.5| introspecção humor uso de ferramentas roleplay
0.20 +46.8% +23.9% −28.3% −31.7%
0.25 (o padrão do atlas) +30.1% +19.1% −33.9% −35.6%
0.30 +7.9% +8.8% −37.6% −40.6%
  • As perdas são o lado firme. Uso de ferramentas e roleplay perdem mais quanto mais rígido fica o corte.
  • Os ganhos são o lado mole. Introspecção e humor ganham muito entre as entradas moderadas e pouco entre as mais fortes.
  • Sem corte nenhum, a fatia das entradas cuja categoria principal é introspecção vai de 8.8% para 11.4%, humor de 9.1% para 11.1%, uso de ferramentas de 15.3% para 13.3%, roleplay de 11.7% para 9.7%.
    São contagens de associações com limiar. Não são neurônios sendo adicionados nem capacidade sendo movida.

Além disso: 147 entradas preferem escrita criativa em inglês e humor em português. 78 vão no sentido contrário.

Quão firme é o ranking? Uso de ferramentas vem por último em especialistas compartilhados, em direção no mlp na média de todas as camadas, e em concordância por prompt. Humor é o penúltimo em especialistas compartilhados e fica no terço de baixo em direção. O meio do ranking muda com a medida.

A sobreposição técnica é só o inglês que sobrou nos prompts em português? No nível da categoria, quanto inglês uma categoria mantém tem pouca associação com o escore de especialistas compartilhados dela (0.13 nas 15 categorias maiores). data mantém 6% e é a mais compartilhada. Isso não descarta efeitos de palavra dentro de uma categoria.

Frase de balcão: em português o modelo tem menos especialistas fortes em ferramentas e roleplay e mais especialistas moderados em humor e introspecção. Ninguém sabe por quê ainda.

7. Duas coisas que podem estar por trás das mudanças

Nenhuma das duas foi isolada. As duas foram medidas.

A redação da tradução. Prompts em inglês que abrem com "Draft…" aparecem como bem menos incomuns em português do que em inglês.

grupo prompts mudança no escore de outlier do mlp, PT menos EN
"Draft…" traduzido com rascunho 68 −1.22
outras traduções de "Draft…" 67 −0.43
todo o resto 8,830 +0.01

A auditoria da Aria achou que o efeito se mantém em −0.70 depois de ajustar por bucket fino e comprimento (intervalo aproximado de 95%: −0.91 a −0.48). Então o jeito como um prompt foi traduzido é uma fonte concreta e mensurável de diferenças.

Gênero. Sem resolução. Não foi controlado.

  • O equilíbrio masculino/feminino da tradução por si só não descarta efeitos de gênero ligados a tema, tom ou estilo.
  • A Aria fez uma triagem por marcação de adjetivos em primeira pessoa e encontrou 87 exemplos no feminino e 95 no masculino. Comparando radicais de adjetivo pareados (146 prompts), feminino menos masculino deu +0.16 na mudança do escore de outlier do mlp, com intervalo de −0.02 a +0.33.
  • Isso nem mostra um efeito de gênero nem descarta um. O atlas guarda um único escore de estranheza por prompt, o que é fino demais para resolver a questão.

8. A régua do modelo-pai

Existe um atlas do Qwen/Qwen3.5-4B, o modelo sobre o qual o S5-nano foi construído, com os mesmos prompts em inglês.

correlação de postos do F por entrada início meio fim
inglês vs português, S5-nano 0.64 0.93 0.71
S5-nano vs modelo-pai, prompts em inglês 0.85 0.83 0.77

No meio do modelo, trocar o prompt de inglês para português vem com uma mudança menor do que a mudança entre o S5-nano e o modelo-pai. Nas pontas é o contrário.

Só aproximado. O atlas do modelo-pai lê o prompt em outra posição, usou código anterior e difere em 11 prompts. Esses descasamentos podem mover os números dele para qualquer lado.

Minhas previsões, com nota

Escrevi estas antes de as capturas rodarem.

Previsão Veredito
O português fica perto das outras línguas, mas não vai se entrelaçar Meio certo. Perto: sim. Ele se entrelaça, quase por completo, da camada 6 à 24. Chinês não foi testado.
Números e código vão estar entrelaçados Sim para técnico e dados, que estão entre os mais compartilhados. Mas tudo está entrelaçado no meio. Não há um bucket só de matemática, então "números" sozinho não foi testado.
Introspecção e humor podem estar muito ligados, algo pode nos surpreender A surpresa foi real. Estão entre as categorias menos compartilhadas e se movem juntas: as duas ganham especialistas moderados em português.
Gênero vai mostrar alguma coisa Em aberto. Uma primeira triagem foi inconclusiva.

Quão certo

  • Sólido: a forma meio compartilhado, pontas separadas, e os números de camada dela. Que a separação tardia está concentrada no linattn_out. Que o mapa de categorias sobrevive a ela. Que os especialistas do português são, na maioria, especialistas do inglês também.
  • Razoavelmente sólido: decodificabilidade de categoria mais baixa em português. Uso de ferramentas como a categoria menos compartilhada. A direção das mudanças de contagem.
  • Frágil: o tamanho dos ganhos de humor e introspecção. O meio do ranking de categorias. A régua do modelo-pai.
  • Não estabelecido: todo "por quê".

Veredito: um prédio, duas portas de entrada, duas saídas, e o mesmo mapa de assentos no topo

Da camada 6 à 24 as duas línguas rodam a mesma maquinaria: 0.93 de concordância de postos sobre quais entradas carregam efeitos de categoria, 0.96 sobre para onde cada categoria aponta no gate, 85% das 256 entradas mais fortes em comum na camada 11. A separação nas pontas é real e é local. Na camada 29 o linattn_out lê 0.21 em direção e 0.944 em mapa, e uma única rotação fecha a diferença para 0.99 nas 17 médias por categoria. O português faz a triagem dele com os especialistas do inglês, 77.1% deles diretamente e 94.45% desses na mesma categoria, e sai um pouco mais difícil de ler, 77.7% contra 80.7% na camada 8. O que se moveu entre as línguas é uma contagem de associações com limiar, menos especialistas fortes em uso de ferramentas e roleplay e mais especialistas moderados em humor e introspecção, e o porquê continua em aberto. Se você for sondar ou direcionar este modelo em português com qualquer coisa achada em inglês, o meio da pilha é onde as duas línguas concordam; confira de novo da camada 28 para cima, e confira o linattn_out primeiro.

O que as ativações sozinhas não respondem

Estas são as perguntas que a parte 2 herda, e os módulos de GPU estão sendo construídos para elas.

  • O meio é "inglês"? O atlas registra como o modelo separa os prompts, não para quais palavras ele pende. Uma leitura de logit lens somaria evidência, como apoio e não como detector direto de uma língua de pensamento.
  • Existem detectores puros de língua? Análises condicionadas a categoria podem deixar passar features que respondem à língua e não à categoria. Cada atlas viu uma língua só.
  • Um único mapa leva o português para o inglês? O encaixe por rotação funciona em 17 médias por categoria. Se ele vale para prompts individuais, isso precisa de ativações pareadas no nível do prompt.
  • O que o treinamento em português mudou? Isso precisa do modelo-pai capturado com os prompts em português, com as mesmas configurações destes dois.
  • Gênero. Precisa de variantes pareadas no masculino e no feminino, ou de ativações no nível do prompt.
  • Causa. Se o meio compartilhado realmente carrega o significado entre as línguas precisa de uma intervenção, como mover um estado de camada intermediária da rodada de uma língua para a rodada da outra.
    Uma rodada por língua, então não há repetições e não há piso de ruído. A régua do modelo-pai é aproximada: aquele atlas lê o prompt em outra posição, usou código anterior e difere em 11 prompts.

Como isso foi conferido

Mesmos pesos, mesmo tokenizador, mesmo código de captura, todos os 8,965 prompts pareados linha a linha com os mesmos rótulos, sem truncamento. O commit de análise registrado difere (3315d07 inglês, 2706292 português) só porque a saída foi renomeada para a rodada em inglês não sobrescrever a em português. Todo valor de q se rederiva do F dele dentro de 0.1% nos dois atlas, e os rótulos de especialista seguem a regra documentada com zero descasamentos nos dois. A Aria recalculou as contagens de especialistas, as sobreposições, a concordância de atenção camada a camada, as faixas de direção e as contagens de pareamento a partir dos atlas publicados, e tudo reproduziu; o achado de mapa contra direções, a sensibilidade ao corte, os controles extras sobre a concordância por prompt, o efeito da redação da tradução e a triagem de gênero são adições dela.

Atlas

S5-nano, prompts em inglês · S5-nano, prompts em português · Qwen3.5-4B, o modelo-pai · mais em juiceb0xc0de

As seis tabelas estão em Parquet e em atlas/atlas.sqlite em cada repositório. Para os números pareados, anexe os dois arquivos SQLite a uma única conexão como en e pt e faça o join de features por (layer, component, neuron), de coactivation por (layer, component) mais o par, e de prompts por row_id. Os números de direção, mapa e rotação vêm das 17 direções de categoria que cada atlas guarda em atlas/layers/<layer>/components/<stream>/directions.npy; src/technical_raw.md tem cada conta.

Especialistas por categoria em um atlas:

SELECT top_label, COUNT(*) AS specialists
FROM features
WHERE q < 0.01 AND ABS(top_auroc - 0.5) >= 0.25
GROUP BY top_label
ORDER BY specialists DESC;

As entradas que são especialistas nas duas línguas, e quantas mantêm a categoria:

SELECT COUNT(*) AS shared_specialists,
       SUM(e.top_label = p.top_label) AS same_category
FROM en.features AS e
JOIN pt.features AS p USING (layer, component, neuron)
WHERE e.q < 0.01 AND ABS(e.top_auroc - 0.5) >= 0.25
  AND p.q < 0.01 AND ABS(p.top_auroc - 0.5) >= 0.25;

O que os especialistas do português são em inglês. selective e mixed juntos são os especialistas, broad é sensível abaixo do corte, e inert é a classe sem efeito relevante:

SELECT e.taxonomy AS in_english, COUNT(*) AS portuguese_specialists
FROM pt.features AS p
JOIN en.features AS e USING (layer, component, neuron)
WHERE p.q < 0.01 AND ABS(p.top_auroc - 0.5) >= 0.25
GROUP BY e.taxonomy
ORDER BY portuguese_specialists DESC;

Os prompts cujo escore de outlier do mlp (a coluna mlp_knn_outlier) mais se moveu entre as línguas:

SELECT e.row_id, e.label, e.prompt,
       p.mlp_knn_outlier - e.mlp_knn_outlier AS pt_minus_en
FROM en.prompts AS e
JOIN pt.prompts AS p USING (row_id)
ORDER BY pt_minus_en
LIMIT 20;

Revisões dos datasets usadas em todos os números acima:

Atlas revisão
S5-nano, prompts em inglês e70acf70ad8a440569aff319cd5444ba190ce232
S5-nano, prompts em português 56c574f09f563ea5ad7bf3b810d35e370724cbe6
Qwen3.5-4B, o modelo-pai, prompts em inglês 23634f09c3e4dbace91037f3a28b6e4032dab2ca

Sign up or log in to comment