BolaLM

10M parâmetros Llama pt-PT treinado de raiz

O BolaLM é um modelo de linguagem pequeno, com 10M de parâmetros, que treinei do zero com cerca de 850 mil notícias de futebol de sites portugueses. Escreves o início de uma notícia e ele continua no estilo de um jornal desportivo.

Tudo o que ele escreve é inventado, os resultados, plantéis, transferências, declarações. A ideia é mesmo essa, ter crónicas de futebol sem pés nem cabeça escritas com ar sério. Não serve como fonte de informação.

Exemplo

O guarda-redes do Sporting, que esta época apontou 26 golos em 33 partidas pela equipa principal, soma 12 golos em 16 jogos, ajudando a equipa B a subir de divisão.

O guarda-redes do Sporting, Bruno Fernandes, envergou a braçadeira de capitão de equipa e deu as boas vindas ao guarda-redes do Sporting, Rúben Amorim.

Em declarações ao site da UEFA, o guarda-redes do Sporting afirmou que a sua braçadeira foi para o colega de equipa: "Vi o jogo pela televisão, assim como no estádio, o Sporting foi eliminado. Foi um jogo muito disputado, intenso, tivemos muitos espaços, até porque não estávamos habituados a jogar contra uma equipa que está muito bem."

O guarda-redes do Sporting, Tiago Ilori, considerou que a sua equipa "vai entrar muito forte, a defender e a defender". [...]

O guardião diz ter sido o melhor em campo: "O importante é o Sporting ganhar e defender."

Para mim a baliza é a mais pequena do mundo, o guarda-redes do Sporting também está a jogar há sete jogos, já mostrou estar a 100% em casa.

A negrito está o início que dei ao modelo, o resto foi ele que escreveu (temperature 0.8, top_p 0.95).

Mais algumas frases que saíram noutras crónicas:

  • «Cristiano Ronaldo, Cristiano Ronaldo e Cristiano Ronaldo, que foram igualmente convocados para o jogo contra a Suíça.»
  • «O Sporting entrou em campo com Rui Patrício a titular e Rui Patrício como titular. [...] Na frente, Coates, Coates, Coates e Bruno Fernandes foram titulares.»
  • «Rui Vitória foi o escolhido por Rui Vitória para a partida da terceira mão dos quartos de final da Liga dos Campeões.»

Como usar

from transformers import pipeline

gerar = pipeline("text-generation", model="brunuu/BolaLM")

texto = gerar(
    "O Sporting entrou em campo",
    max_new_tokens=450,
    do_sample=True,
    temperature=0.8,
    top_p=0.95,
)
print(texto[0]["generated_text"])

Funciona melhor quando começas com uma frase típica de jornal, tipo "O Sporting venceu..." ou "O treinador leonino garantiu...". Com a temperature mais baixa o texto fica mais previsível, mais alta fica mais disparatado.

O modelo aprendeu onde acaba uma notícia, por isso termina sozinho. Nos testes que fiz sem limite de tamanho, acabou sempre as crónicas com a frase completa. No LM Studio podes deixar o limite de resposta desligado.

Modelo

É um Llama treinado de raiz, não parte de nenhum modelo existente.

Parâmetros 10 004 736
Dimensão 256
Camadas 8
Cabeças de atenção 4 (2 para K/V)
Dimensão do MLP 705
Contexto 512 tokens
Vocabulário 16 000 (BPE byte-level próprio, com dígitos separados)
Embeddings partilhados entre a entrada e a saída

Dados

As notícias vêm do Bagaço, um subconjunto do FineWeb-2 só com sites portugueses (.pt), que por sua vez vem do Common Crawl. O Bagaço já traz cada página classificada por tema, por isso peguei nas de desporto e separei o futebol das outras modalidades com uma lista de termos e um classificador simples (TF-IDF com regressão logística). Ficaram 896 058 artigos.

Depois limpei o texto: tirei as linhas que se repetem em muitas páginas (menus, avisos de cookies, copyright), as páginas de apostas, os duplicados e os textos muito curtos. Sobraram 849 437 artigos, dos quais 4 247 ficaram de fora para validação.

Treino

Dados de treino 845 190 artigos, 342,6M tokens
Tokens vistos 342 589 440 (uma passagem por todos os dados)
Otimizador AdamW, lr 1e-3
Taxa de aprendizagem warmup de 200 passos e depois cosseno até 10%
Gradient clipping 1.0
Precisão bf16
Hardware AMD Radeon RX 7800 XT (ROCm)
Duração 53 minutos
Perda de validação 3,13

Limitações

  • Inventa factos, mesmo quando parecem plausíveis.
  • Com 10M de parâmetros e 512 tokens de contexto, perde o fio ao fim de alguns parágrafos e repete-se bastante.
  • Os clubes e competições mais falados na imprensa aparecem muito mais do que os outros.
  • Os dados vêm da web, por isso há erros, opinião e linguagem pouco cuidada.

Código

O código de treino está na pasta codigo/. O criar_BolaLm.py trata de tudo (tokenizador, tokens e treino) e as configurações estão no config.py.

Créditos

Downloads last month
78
Safetensors
Model size
10M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Datasets used to train brunuu/BolaLM

Space using brunuu/BolaLM 1

Paper for brunuu/BolaLM