Instructions to use maritaca-ai/S5-nano with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use maritaca-ai/S5-nano with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("image-text-to-text", model="maritaca-ai/S5-nano") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] pipe(text=messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("maritaca-ai/S5-nano") model = AutoModelForMultimodalLM.from_pretrained("maritaca-ai/S5-nano", device_map="auto") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] inputs = processor.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use maritaca-ai/S5-nano with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "maritaca-ai/S5-nano" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "maritaca-ai/S5-nano", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker
docker model run hf.co/maritaca-ai/S5-nano
- SGLang
How to use maritaca-ai/S5-nano with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "maritaca-ai/S5-nano" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "maritaca-ai/S5-nano", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "maritaca-ai/S5-nano" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "maritaca-ai/S5-nano", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' - Docker Model Runner
How to use maritaca-ai/S5-nano with Docker Model Runner:
docker model run hf.co/maritaca-ai/S5-nano
Só Olhando, Obrigado
Full disclosure, I'm a bartender from Canada whose full extent of Portuguese immersion is watching Cidade de Deus and throwing on Ana Mazzotti every now and then so I wasn't prepared for just how different the Portuguese and English languages are. I felt like the mechanistic interpretation needed to be delivered in the language the model was trained to use for accessibility to the users who it was intended to be used by. Planning the translation and activations ended up becoming a more involved project than I had anticipated. I had to learn how the Brazilian Portuguese language functioned in both its feminine and masculine forms and the nuances of translating things like telling a story in single syllable words which is not translatable straight across. I wasn't satisfied with a simple AI translation of the 8,965 prompt corpus and found myself immersed in the structure and flow of the Portuguese language for the first time in my life.
I won't claim that the translations are perfect. No native Portuguese speaker has read any of these translations so I can only hope that the collaborative efforts between me and the AI models I worked with on the project are enough to sound at the very least natural enough for consumption.
I enjoyed this atlas project more than the usual "how well did the coding fine-tune improve the model?" I have a new appreciation for a language I've never had reason to stop and pay attention to. The findings of the activation atlas interpretation comparing the English and Portuguese versions have also left many open questions and I believe bilingual and perhaps trilingual comparisons are a new category I will pursue until I find my curiosity satisfied. Perhaps you might find the same interest after reading the atlas I am leaving here today.
If you enjoy this mechanistic interpretation stay tuned for the second half.
~ juiceb0xc0de ~
English version
S5-nano em inglês e português, parte 1: o que as ativações mostram
juiceb0xc0de/s5-nano-cgs-portuguese-atlas · juiceb0xc0de/s5-nano-cgs-english-atlas · versão em inglês deste texto
Passei o maritaca-ai/S5-nano, o modelo de 4.7B da Maritaca AI construído sobre o Qwen3.5-4B, duas vezes pelo Space Cartographics do HF (o Space constrói esses atlas sob demanda): uma vez com os 8,965 prompts em inglês do censo e outra com os mesmos 8,965 prompts em português brasileiro. Depois coloquei os dois atlas um sobre o outro. Os dois são capturas de ativação de entrada de um único checkpoint: o modelo leu cada prompt e a captura registrou o que aconteceu por dentro. Nada foi gerado e nada dentro do modelo foi alterado. Esta é a metade de observar, e tudo aqui foi calculado em CPU a partir dos atlas publicados. A parte 2 é a metade em que o modelo roda de novo e leva cutucadas; os módulos de GPU para ela estão sendo construídos agora, e a maior parte das perguntas em aberto no fim está esperando por eles.
Os números seguem o formato inglês em todo o texto: ponto decimal, vírgula separando milhares. As tabelas são idênticas às da versão em inglês.
Inglês e português usam o modelo de formas diferentes na camada 0, quase idênticas da camada 6 à 24, e diferentes de novo da camada 28 em diante: a correlação de postos do F por entrada, em todos os streams, é 0.64 no início, 0.93 no meio e 0.71 no fim, com o pico na camada 11. A separação tardia está no que os blocos de atenção linear escrevem de volta. Na camada 29 o cosseno de direção inglês-português é 0.85 no linattn_qkv e 0.21 no linattn_out. As direções se separam, mas o mapa sobrevive: na camada 29 do linattn_out as 17 direções de categoria concordam em 0.211, enquanto o arranjo delas umas em relação às outras concorda em 0.944, e uma única rotação rígida leva as direções de 0.21 a 0.99. O português reaproveita a maquinaria de categorias do inglês: 77.1% das entradas que são especialistas em português também são especialistas em inglês, e 94.45% dessas se especializam na mesma categoria. Em português o modelo tem menos especialistas fortes em uso de ferramentas e roleplay e mais especialistas moderados em humor e introspecção, e a causa não foi isolada.
Escopo. Duas capturas de um único checkpoint: mesmos pesos (
fe3a3581), mesmo tokenizador, mesmo código de captura (aa34fe65), mesmo template de chat, todos os 8,965 prompts pareados linha a linha com os mesmos rótulos, sem truncamento. O corpus são 8,965 prompts em 17 rótulos de uso e 175 buckets finos; o censo em português são os mesmos prompts em português brasileiro, então os tokens mudam e todo o resto fica fixo. Salvo indicação em contrário, os resultados usam a posiçãomean_content, a média sobre os tokens do próprio prompt, com o template e os tokens especiais de fora. A sonda de rótulo de uso é um classificador multinomial de cinco dobras sobre 256 PCs; o acaso dá 6.58%.
Este texto não tem tags por afirmação. A seção Quão certo dá nota a cada achado, e todo número está em src/technical_raw.md com a conta de como foi calculado.
A versão curta
- Meio compartilhado, pontas separadas. Inglês e português usam o modelo de formas diferentes na camada 0, quase idênticas da camada 6 à 24, e diferentes de novo da camada 28 em diante.
- A separação tardia está em partes específicas. É mais nítida no que os blocos de atenção linear escrevem para fora. As partes que leem continuam bem mais compartilhadas.
- As direções se separam, mas o mapa sobrevive. Nas camadas tardias uma categoria já não aponta para o mesmo lado nas duas línguas, mas as categorias mantêm o mesmo arranjo umas em relação às outras.
- O português reaproveita a maquinaria de categorias do inglês. 77% das entradas que são especialistas em português também são especialistas em inglês, e 94% dessas se especializam na mesma categoria.
- Algumas categorias mudam. Menos especialistas fortes em uso de ferramentas e roleplay em português, mais especialistas moderados em humor e introspecção. A causa não foi isolada.
Seis palavras que você precisa
- Camada: um andar do prédio. O S5-nano tem 32, numerados de 0 a 31. Um prompt entra no 0 e sobe.
- Entrada: um medidor num andar. O atlas tem cerca de 1.4 milhão deles. São entradas de camada e stream, então a mesma unidade física pode aparecer em mais de um stream.
- Stream: uma parte de um andar. Alguns streams leem o que está na esteira, alguns são o trabalho interno, alguns são o que é escrito de volta na esteira.
- Categoria: os 17 buckets de uso (humor, core_technical, roleplay e por aí vai).
- Especialista: uma entrada que distingue com força uma categoria das outras. Isso pode significar que ela sobe para aquela categoria ou que desce para ela.
- Direção: uma categoria não é um medidor só, é um padrão espalhado por milhares. Esse padrão é uma direção, como um rumo de bússola.
O truque que faz a comparação funcionar: os dois atlas são os mesmos pesos. A entrada 500 de um dado stream no andar 12 é o mesmo medidor nos dois. Então dá para perguntar diretamente a cada medidor se ele faz o mesmo trabalho em português e em inglês.
1. Meio compartilhado, pontas separadas
O que eu olhei. Quatro medidas, andar por andar. Elas são complementares, não independentes: as quatro vêm das mesmas ativações capturadas.
| início (camadas 0 a 2) | meio (6 a 24) | fim (28 a 31) | |
|---|---|---|---|
| as entradas se ordenam igual por efeito de categoria (Spearman do F por entrada, todos os streams) | 0.64 | 0.93 | 0.71 |
uma categoria aponta para o mesmo lado (cosseno de direção, stream gate) |
0.79 | 0.96 | 0.73 |
| as mesmas entradas são as mais fortes (sobreposição das 256 de maior F) | 43% na camada 0 | 85% na camada 11 | 53% na camada 29 |
| os mesmos pares disparam juntos (sobreposição dos 50 pares mais fortes) | 10% na camada 0 | 74% na camada 11 | 19% na camada 29 |
O pico é a camada 11. O ponto mais baixo do fim são as camadas 29 e 30.
A direção de cada categoria em inglês é a mais próxima da direção da mesma categoria em português em todas as 32 camadas nos streams mlp, up e gate. Em todos os streams, são 3,664 de 3,672. Os oito erros estão todos no linattn_out tardio: sete na camada 29, um na camada 26.
Frase de balcão: duas portas de entrada, um prédio compartilhado, duas saídas.
2. A separação do fim está em partes específicas
O que eu olhei. O mesmo escore de direção, stream por stream, na camada 29.
| stream na camada 29 | o que é | cosseno de direção, EN vs PT |
|---|---|---|
linattn_z |
dentro do bloco de atenção linear | 0.87 |
linattn_qkv |
dentro do bloco de atenção linear | 0.85 |
up |
MLP, lado de entrada | 0.85 |
gate |
MLP, lado de entrada | 0.67 |
mlp |
camada oculta da MLP | 0.55 |
linattn_out |
o que o bloco escreve de volta no stream | 0.21 |
O linattn_out cai nas camadas 26, 29 e 30 (0.38, 0.21, 0.38). Na camada 25 ainda está em 0.83.
A categoria continua fortemente decodificável a partir do linattn_out nessas camadas nas duas línguas, embora não perfeitamente: uma leitura acerta o nome dela cerca de 70% das vezes em inglês e 67 a 68% em português. Então a informação está lá nas duas. Ela é carregada de outro jeito.
A última camada de atenção completa mostra a mesma coisa por outro ângulo. A concordância de postos dos efeitos de categoria nas cabeças e nas partes de consulta, chave e valor delas é de 0.84 a 0.94 nas camadas 3 a 23, 0.77 na camada 27, e 0.33 na camada 31.
Isso é só uma medida trêmula? A comparação com o modelo-pai argumenta contra isso como a história inteira. Os rankings tardios do linattn_out correlacionam de 0.49 a 0.68 com o atlas do modelo-pai, contra 0.09 a 0.25 entre as duas línguas no S5-nano. Então esses rankings não são uniformemente instáveis. O atlas do modelo-pai foi capturado de outro jeito, então isto não é um teste de piso de ruído nem uma comparação controlada de língua contra treinamento.
Frase de balcão: a separação perto do topo não está em todo lugar. Está no que é escrito de volta.
3. As direções se separam, mas o mapa sobrevive
Este é o achado que mais mudou entre o meu primeiro rascunho e este. A auditoria da Aria puxou ele para a frente.
O que eu olhei. Duas perguntas diferentes sobre as mesmas 17 direções de categoria.
- Direções: "humor" aponta para o mesmo lado nas duas línguas?
- Mapa: esqueça para onde cada coisa aponta. "Humor" continua perto de "escrita criativa" e longe de "dados", nas duas línguas? Isso é o arranjo das categorias umas em relação às outras.

| onde | direções concordam | mapa concorda |
|---|---|---|
camada 10, mlp |
0.947 | 0.992 |
camada 29, mlp |
0.547 | 0.956 |
camada 29, linattn_out |
0.211 | 0.944 |
Embaralhe qual categoria em português é pareada com qual categoria em inglês e a concordância do mapa desaba: em 1,000 embaralhamentos, o máximo que ela alcançou na camada 29 do linattn_out foi 0.41.
Então no topo do modelo as duas línguas guardam praticamente a mesma disposição de categorias, desenhada em coordenadas diferentes.
Uma exceção que vale saber: a saída da atenção na camada 27, onde a concordância do mapa cai para 0.75. É um stream estreito ali, com largura efetiva abaixo de 9.
Dá para girar um sobre o outro? Pegue as 17 direções em português como uma peça rígida e gire até casar o melhor possível com as 17 em inglês. Na camada 29 do linattn_out o encaixe vai de 0.21 a 0.99. Um pareamento embaralhado chega a 0.78 na média e 0.87 no máximo, então a escala é apertada, mas o pareamento real fica bem acima disso.
Três limites para isso:
- 17 direções fixam um cantinho de um espaço de 2,560 dimensões. O encaixe não diz nada sobre o resto.
- Um bom encaixe nas médias por categoria não quer dizer que uma rotação leve qualquer prompt isolado do português para o inglês.
- O mapa concordar em 0.944 é similaridade forte, não igualdade. Isto não é prova de uma rotação limpa, nem prova de mecanismo nenhum.
As duas pontas são diferentes em natureza.
linattn_out |
direções concordam | mapa concorda |
|---|---|---|
| camada 0 | 0.61 | 0.74 |
| camada 29 | 0.21 | 0.94 |
Na entrada, a própria disposição é um tanto diferente entre as línguas. Na saída, a disposição é a mesma e as coordenadas mudaram.
Frase de balcão: perto do topo, português e inglês mantêm o mesmo mapa de assentos. Só giraram a sala.
4. O português reaproveita a maquinaria de categorias do inglês
O que eu olhei. Os especialistas de cada língua, e o que as mesmas entradas são na outra língua. Especialista aqui é uma entrada com q < 0.01 e |AUROC − 0.5| ≥ 0.25 para pelo menos uma categoria.
- Inglês: 42,018 especialistas. Português: 37,067. Nos dois: 28,582.
- Dos 28,582 que são especialistas nos dois, 26,996 (94.45%) preferem a mesma categoria.
O que os especialistas do português são em inglês:
| em inglês eles são | contagem | fatia |
|---|---|---|
| especialistas também | 28,582 | 77.1% |
| sensíveis a categoria, abaixo do corte de especialista | 7,821 | 21.1% |
| inertes a categoria | 664 | 1.8% |
E no sentido contrário: dos 42,018 do inglês, em português 68.0% são especialistas, 28.8% são sensíveis mas abaixo do corte, e 3.2% (1,346) são inertes a categoria.
Há duas coisas diferentes nessa tabela e elas não devem ser misturadas. 8,485 entradas são especialistas em português e não em inglês. Só 664 dessas vão até o ponto de não mostrar efeito de categoria nenhum em inglês. As 664 estão principalmente nas últimas camadas (64, 96, 75 e 61 delas nas camadas 28 a 31).
Nenhum dos atlas tem entradas mortas. "Inerte" quer dizer sem efeito de categoria relevante. Não quer dizer que a entrada esteja muda.
Frase de balcão: não existe um departamento separado de português para separar prompts por função. Cerca de um em cada cinco especialistas do português é só meio-período em inglês, e quase nenhum é estranho.
5. O mesmo andar de triagem, leitura um pouco mais baixa
- Decodificabilidade da categoria. Uma leitura simples acerta a categoria de um prompt a partir do stream
mlpna camada 8 com 80.7% de acurácia em prompts em inglês e 77.7% em português. As duas têm pico na camada 8. A diferença é de 2 a 3.5 pontos pelo meio, 7 pontos na camada 0, cerca de 5.5 nas camadas 28 e 29. - Isso mede quão legível a categoria é. Não é uma nota de quão bom o modelo é em português.
- Espaço de trabalho. A razão de participação do
mlp, uma contagem efetiva de dimensões em uso, fica em média cerca de 10% mais baixa para o português nas camadas 6 a 24. É mais baixa em 28 de 32 camadas nomlpe em 31 de 32 nogate. - A mesma planta. O mapa de similaridade camada a camada é quase o mesmo nas duas línguas (0.91 a 0.995 por stream). As mesmas camadas estranhas aparecem nas duas, inclusive uma quebra perto da camada 26.
- Os mesmos prompts estranhos. Um prompt que o modelo trata como incomum em inglês ele trata como incomum em português: 0.77 para o escore de outlier do
mlp. A auditoria da Aria removeu o efeito dos 175 buckets finos e do comprimento do prompt nas duas línguas, e ficou em 0.77. Embaralhar os prompts dentro de um bucket derruba isso para perto de zero.
Frase de balcão: o mesmo andar faz a triagem nas duas línguas, e os rótulos em português saem um pouco mais difíceis de ler.
6. Quais categorias mudam
Especialistas compartilhados (das entradas que são especialistas de uma categoria em qualquer uma das línguas, a fatia que é nas duas): dados 65.7%, design 64.0%, escrita 61.5% no topo; humor 44.1% e uso de ferramentas 35.7% no fundo, entre as categorias grandes o bastante para confiar.
Toda categoria se funde no meio. No stream gate, entre as camadas 6 e 24, 16 das 17 categorias pontuam de 0.92 a 0.99 em direção. Uso de ferramentas é a retardatária, com 0.89 a 0.96.
As contagens de especialistas se movem com a língua.
Quanto elas se movem depende de onde fica o corte, então aqui vão três:
| corte em |AUROC − 0.5| | introspecção | humor | uso de ferramentas | roleplay |
|---|---|---|---|---|
| 0.20 | +46.8% | +23.9% | −28.3% | −31.7% |
| 0.25 (o padrão do atlas) | +30.1% | +19.1% | −33.9% | −35.6% |
| 0.30 | +7.9% | +8.8% | −37.6% | −40.6% |
- As perdas são o lado firme. Uso de ferramentas e roleplay perdem mais quanto mais rígido fica o corte.
- Os ganhos são o lado mole. Introspecção e humor ganham muito entre as entradas moderadas e pouco entre as mais fortes.
- Sem corte nenhum, a fatia das entradas cuja categoria principal é introspecção vai de 8.8% para 11.4%, humor de 9.1% para 11.1%, uso de ferramentas de 15.3% para 13.3%, roleplay de 11.7% para 9.7%.
São contagens de associações com limiar. Não são neurônios sendo adicionados nem capacidade sendo movida.
Além disso: 147 entradas preferem escrita criativa em inglês e humor em português. 78 vão no sentido contrário.
Quão firme é o ranking? Uso de ferramentas vem por último em especialistas compartilhados, em direção no mlp na média de todas as camadas, e em concordância por prompt. Humor é o penúltimo em especialistas compartilhados e fica no terço de baixo em direção. O meio do ranking muda com a medida.
A sobreposição técnica é só o inglês que sobrou nos prompts em português? No nível da categoria, quanto inglês uma categoria mantém tem pouca associação com o escore de especialistas compartilhados dela (0.13 nas 15 categorias maiores). data mantém 6% e é a mais compartilhada. Isso não descarta efeitos de palavra dentro de uma categoria.
Frase de balcão: em português o modelo tem menos especialistas fortes em ferramentas e roleplay e mais especialistas moderados em humor e introspecção. Ninguém sabe por quê ainda.
7. Duas coisas que podem estar por trás das mudanças
Nenhuma das duas foi isolada. As duas foram medidas.
A redação da tradução. Prompts em inglês que abrem com "Draft…" aparecem como bem menos incomuns em português do que em inglês.
| grupo | prompts | mudança no escore de outlier do mlp, PT menos EN |
|---|---|---|
| "Draft…" traduzido com rascunho | 68 | −1.22 |
| outras traduções de "Draft…" | 67 | −0.43 |
| todo o resto | 8,830 | +0.01 |
A auditoria da Aria achou que o efeito se mantém em −0.70 depois de ajustar por bucket fino e comprimento (intervalo aproximado de 95%: −0.91 a −0.48). Então o jeito como um prompt foi traduzido é uma fonte concreta e mensurável de diferenças.
Gênero. Sem resolução. Não foi controlado.
- O equilíbrio masculino/feminino da tradução por si só não descarta efeitos de gênero ligados a tema, tom ou estilo.
- A Aria fez uma triagem por marcação de adjetivos em primeira pessoa e encontrou 87 exemplos no feminino e 95 no masculino. Comparando radicais de adjetivo pareados (146 prompts), feminino menos masculino deu +0.16 na mudança do escore de outlier do
mlp, com intervalo de −0.02 a +0.33. - Isso nem mostra um efeito de gênero nem descarta um. O atlas guarda um único escore de estranheza por prompt, o que é fino demais para resolver a questão.
8. A régua do modelo-pai
Existe um atlas do Qwen/Qwen3.5-4B, o modelo sobre o qual o S5-nano foi construído, com os mesmos prompts em inglês.
| correlação de postos do F por entrada | início | meio | fim |
|---|---|---|---|
| inglês vs português, S5-nano | 0.64 | 0.93 | 0.71 |
| S5-nano vs modelo-pai, prompts em inglês | 0.85 | 0.83 | 0.77 |
No meio do modelo, trocar o prompt de inglês para português vem com uma mudança menor do que a mudança entre o S5-nano e o modelo-pai. Nas pontas é o contrário.
Só aproximado. O atlas do modelo-pai lê o prompt em outra posição, usou código anterior e difere em 11 prompts. Esses descasamentos podem mover os números dele para qualquer lado.
Minhas previsões, com nota
Escrevi estas antes de as capturas rodarem.
| Previsão | Veredito |
|---|---|
| O português fica perto das outras línguas, mas não vai se entrelaçar | Meio certo. Perto: sim. Ele se entrelaça, quase por completo, da camada 6 à 24. Chinês não foi testado. |
| Números e código vão estar entrelaçados | Sim para técnico e dados, que estão entre os mais compartilhados. Mas tudo está entrelaçado no meio. Não há um bucket só de matemática, então "números" sozinho não foi testado. |
| Introspecção e humor podem estar muito ligados, algo pode nos surpreender | A surpresa foi real. Estão entre as categorias menos compartilhadas e se movem juntas: as duas ganham especialistas moderados em português. |
| Gênero vai mostrar alguma coisa | Em aberto. Uma primeira triagem foi inconclusiva. |
Quão certo
- Sólido: a forma meio compartilhado, pontas separadas, e os números de camada dela. Que a separação tardia está concentrada no
linattn_out. Que o mapa de categorias sobrevive a ela. Que os especialistas do português são, na maioria, especialistas do inglês também. - Razoavelmente sólido: decodificabilidade de categoria mais baixa em português. Uso de ferramentas como a categoria menos compartilhada. A direção das mudanças de contagem.
- Frágil: o tamanho dos ganhos de humor e introspecção. O meio do ranking de categorias. A régua do modelo-pai.
- Não estabelecido: todo "por quê".
Veredito: um prédio, duas portas de entrada, duas saídas, e o mesmo mapa de assentos no topo
Da camada 6 à 24 as duas línguas rodam a mesma maquinaria: 0.93 de concordância de postos sobre quais entradas carregam efeitos de categoria, 0.96 sobre para onde cada categoria aponta no gate, 85% das 256 entradas mais fortes em comum na camada 11. A separação nas pontas é real e é local. Na camada 29 o linattn_out lê 0.21 em direção e 0.944 em mapa, e uma única rotação fecha a diferença para 0.99 nas 17 médias por categoria. O português faz a triagem dele com os especialistas do inglês, 77.1% deles diretamente e 94.45% desses na mesma categoria, e sai um pouco mais difícil de ler, 77.7% contra 80.7% na camada 8. O que se moveu entre as línguas é uma contagem de associações com limiar, menos especialistas fortes em uso de ferramentas e roleplay e mais especialistas moderados em humor e introspecção, e o porquê continua em aberto. Se você for sondar ou direcionar este modelo em português com qualquer coisa achada em inglês, o meio da pilha é onde as duas línguas concordam; confira de novo da camada 28 para cima, e confira o linattn_out primeiro.
O que as ativações sozinhas não respondem
Estas são as perguntas que a parte 2 herda, e os módulos de GPU estão sendo construídos para elas.
- O meio é "inglês"? O atlas registra como o modelo separa os prompts, não para quais palavras ele pende. Uma leitura de logit lens somaria evidência, como apoio e não como detector direto de uma língua de pensamento.
- Existem detectores puros de língua? Análises condicionadas a categoria podem deixar passar features que respondem à língua e não à categoria. Cada atlas viu uma língua só.
- Um único mapa leva o português para o inglês? O encaixe por rotação funciona em 17 médias por categoria. Se ele vale para prompts individuais, isso precisa de ativações pareadas no nível do prompt.
- O que o treinamento em português mudou? Isso precisa do modelo-pai capturado com os prompts em português, com as mesmas configurações destes dois.
- Gênero. Precisa de variantes pareadas no masculino e no feminino, ou de ativações no nível do prompt.
- Causa. Se o meio compartilhado realmente carrega o significado entre as línguas precisa de uma intervenção, como mover um estado de camada intermediária da rodada de uma língua para a rodada da outra.
Uma rodada por língua, então não há repetições e não há piso de ruído. A régua do modelo-pai é aproximada: aquele atlas lê o prompt em outra posição, usou código anterior e difere em 11 prompts.
Como isso foi conferido
Mesmos pesos, mesmo tokenizador, mesmo código de captura, todos os 8,965 prompts pareados linha a linha com os mesmos rótulos, sem truncamento. O commit de análise registrado difere (3315d07 inglês, 2706292 português) só porque a saída foi renomeada para a rodada em inglês não sobrescrever a em português. Todo valor de q se rederiva do F dele dentro de 0.1% nos dois atlas, e os rótulos de especialista seguem a regra documentada com zero descasamentos nos dois. A Aria recalculou as contagens de especialistas, as sobreposições, a concordância de atenção camada a camada, as faixas de direção e as contagens de pareamento a partir dos atlas publicados, e tudo reproduziu; o achado de mapa contra direções, a sensibilidade ao corte, os controles extras sobre a concordância por prompt, o efeito da redação da tradução e a triagem de gênero são adições dela.
Atlas
S5-nano, prompts em inglês · S5-nano, prompts em português · Qwen3.5-4B, o modelo-pai · mais em juiceb0xc0de
As seis tabelas estão em Parquet e em atlas/atlas.sqlite em cada repositório. Para os números pareados, anexe os dois arquivos SQLite a uma única conexão como en e pt e faça o join de features por (layer, component, neuron), de coactivation por (layer, component) mais o par, e de prompts por row_id. Os números de direção, mapa e rotação vêm das 17 direções de categoria que cada atlas guarda em atlas/layers/<layer>/components/<stream>/directions.npy; src/technical_raw.md tem cada conta.
Especialistas por categoria em um atlas:
SELECT top_label, COUNT(*) AS specialists
FROM features
WHERE q < 0.01 AND ABS(top_auroc - 0.5) >= 0.25
GROUP BY top_label
ORDER BY specialists DESC;
As entradas que são especialistas nas duas línguas, e quantas mantêm a categoria:
SELECT COUNT(*) AS shared_specialists,
SUM(e.top_label = p.top_label) AS same_category
FROM en.features AS e
JOIN pt.features AS p USING (layer, component, neuron)
WHERE e.q < 0.01 AND ABS(e.top_auroc - 0.5) >= 0.25
AND p.q < 0.01 AND ABS(p.top_auroc - 0.5) >= 0.25;
O que os especialistas do português são em inglês. selective e mixed juntos são os especialistas, broad é sensível abaixo do corte, e inert é a classe sem efeito relevante:
SELECT e.taxonomy AS in_english, COUNT(*) AS portuguese_specialists
FROM pt.features AS p
JOIN en.features AS e USING (layer, component, neuron)
WHERE p.q < 0.01 AND ABS(p.top_auroc - 0.5) >= 0.25
GROUP BY e.taxonomy
ORDER BY portuguese_specialists DESC;
Os prompts cujo escore de outlier do mlp (a coluna mlp_knn_outlier) mais se moveu entre as línguas:
SELECT e.row_id, e.label, e.prompt,
p.mlp_knn_outlier - e.mlp_knn_outlier AS pt_minus_en
FROM en.prompts AS e
JOIN pt.prompts AS p USING (row_id)
ORDER BY pt_minus_en
LIMIT 20;
Revisões dos datasets usadas em todos os números acima:
| Atlas | revisão |
|---|---|
| S5-nano, prompts em inglês | e70acf70ad8a440569aff319cd5444ba190ce232 |
| S5-nano, prompts em português | 56c574f09f563ea5ad7bf3b810d35e370724cbe6 |
| Qwen3.5-4B, o modelo-pai, prompts em inglês | 23634f09c3e4dbace91037f3a28b6e4032dab2ca |






