Instructions to use brunuu/BolaLM with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use brunuu/BolaLM with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="brunuu/BolaLM")# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("brunuu/BolaLM") model = AutoModelForCausalLM.from_pretrained("brunuu/BolaLM", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use brunuu/BolaLM with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf brunuu/BolaLM:F16 # Run inference directly in the terminal: llama cli -hf brunuu/BolaLM:F16
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf brunuu/BolaLM:F16 # Run inference directly in the terminal: llama cli -hf brunuu/BolaLM:F16
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf brunuu/BolaLM:F16 # Run inference directly in the terminal: ./build/bin/llama cli -hf brunuu/BolaLM:F16
Use Docker
docker model run hf.co/brunuu/BolaLM:F16
- Llama new
- LM Studio
- Jan
- vLLM
How to use brunuu/BolaLM with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "brunuu/BolaLM" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "brunuu/BolaLM", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/brunuu/BolaLM:F16
- SGLang
How to use brunuu/BolaLM with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "brunuu/BolaLM" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "brunuu/BolaLM", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "brunuu/BolaLM" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "brunuu/BolaLM", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Ollama
How to use brunuu/BolaLM with Ollama:
ollama run hf.co/brunuu/BolaLM:F16
- Unsloth Desktop
- Docker Model Runner
How to use brunuu/BolaLM with Docker Model Runner:
docker model run hf.co/brunuu/BolaLM:F16
- Lemonade
How to use brunuu/BolaLM with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull brunuu/BolaLM:F16
Run and chat with the model
lemonade run user.BolaLM-F16
List all available models
lemonade list
- Atomic Chat
O BolaLM é um modelo de linguagem pequeno, com 10M de parâmetros, que treinei do zero com cerca de 850 mil notícias de futebol de sites portugueses. Escreves o início de uma notícia e ele continua no estilo de um jornal desportivo.
Tudo o que ele escreve é inventado, os resultados, plantéis, transferências, declarações. A ideia é mesmo essa, ter crónicas de futebol sem pés nem cabeça escritas com ar sério. Não serve como fonte de informação.
Exemplo
O guarda-redes do Sporting, que esta época apontou 26 golos em 33 partidas pela equipa principal, soma 12 golos em 16 jogos, ajudando a equipa B a subir de divisão.
O guarda-redes do Sporting, Bruno Fernandes, envergou a braçadeira de capitão de equipa e deu as boas vindas ao guarda-redes do Sporting, Rúben Amorim.
Em declarações ao site da UEFA, o guarda-redes do Sporting afirmou que a sua braçadeira foi para o colega de equipa: "Vi o jogo pela televisão, assim como no estádio, o Sporting foi eliminado. Foi um jogo muito disputado, intenso, tivemos muitos espaços, até porque não estávamos habituados a jogar contra uma equipa que está muito bem."
O guarda-redes do Sporting, Tiago Ilori, considerou que a sua equipa "vai entrar muito forte, a defender e a defender". [...]
O guardião diz ter sido o melhor em campo: "O importante é o Sporting ganhar e defender."
Para mim a baliza é a mais pequena do mundo, o guarda-redes do Sporting também está a jogar há sete jogos, já mostrou estar a 100% em casa.
A negrito está o início que dei ao modelo, o resto foi ele que escreveu (temperature 0.8, top_p 0.95).
Mais algumas frases que saíram noutras crónicas:
- «Cristiano Ronaldo, Cristiano Ronaldo e Cristiano Ronaldo, que foram igualmente convocados para o jogo contra a Suíça.»
- «O Sporting entrou em campo com Rui Patrício a titular e Rui Patrício como titular. [...] Na frente, Coates, Coates, Coates e Bruno Fernandes foram titulares.»
- «Rui Vitória foi o escolhido por Rui Vitória para a partida da terceira mão dos quartos de final da Liga dos Campeões.»
Como usar
from transformers import pipeline
gerar = pipeline("text-generation", model="brunuu/BolaLM")
texto = gerar(
"O Sporting entrou em campo",
max_new_tokens=450,
do_sample=True,
temperature=0.8,
top_p=0.95,
)
print(texto[0]["generated_text"])
Funciona melhor quando começas com uma frase típica de jornal, tipo "O Sporting venceu..." ou "O treinador leonino garantiu...". Com a temperature mais baixa o texto fica mais previsível, mais alta fica mais disparatado.
O modelo aprendeu onde acaba uma notícia, por isso termina sozinho. Nos testes que fiz sem limite de tamanho, acabou sempre as crónicas com a frase completa. No LM Studio podes deixar o limite de resposta desligado.
Modelo
É um Llama treinado de raiz, não parte de nenhum modelo existente.
| Parâmetros | 10 004 736 |
| Dimensão | 256 |
| Camadas | 8 |
| Cabeças de atenção | 4 (2 para K/V) |
| Dimensão do MLP | 705 |
| Contexto | 512 tokens |
| Vocabulário | 16 000 (BPE byte-level próprio, com dígitos separados) |
| Embeddings | partilhados entre a entrada e a saída |
Dados
As notícias vêm do Bagaço, um subconjunto do FineWeb-2 só com sites portugueses (.pt), que por sua vez vem do Common Crawl. O Bagaço já traz cada página classificada por tema, por isso peguei nas de desporto e separei o futebol das outras modalidades com uma lista de termos e um classificador simples (TF-IDF com regressão logística). Ficaram 896 058 artigos.
Depois limpei o texto: tirei as linhas que se repetem em muitas páginas (menus, avisos de cookies, copyright), as páginas de apostas, os duplicados e os textos muito curtos. Sobraram 849 437 artigos, dos quais 4 247 ficaram de fora para validação.
Treino
| Dados de treino | 845 190 artigos, 342,6M tokens |
| Tokens vistos | 342 589 440 (uma passagem por todos os dados) |
| Otimizador | AdamW, lr 1e-3 |
| Taxa de aprendizagem | warmup de 200 passos e depois cosseno até 10% |
| Gradient clipping | 1.0 |
| Precisão | bf16 |
| Hardware | AMD Radeon RX 7800 XT (ROCm) |
| Duração | 53 minutos |
| Perda de validação | 3,13 |
Limitações
- Inventa factos, mesmo quando parecem plausíveis.
- Com 10M de parâmetros e 512 tokens de contexto, perde o fio ao fim de alguns parágrafos e repete-se bastante.
- Os clubes e competições mais falados na imprensa aparecem muito mais do que os outros.
- Os dados vêm da web, por isso há erros, opinião e linguagem pouco cuidada.
Código
O código de treino está na pasta codigo/. O criar_BolaLm.py trata de tudo (tokenizador, tokens e treino) e as configurações estão no config.py.
Créditos
- Bagaço, de duarteocarmo, licença ODC-By 1.0
- FineWeb-2, da Hugging Face, licença ODC-By 1.0 e termos de utilização do Common Crawl
- Common Crawl
- Arquitetura Llama (Touvron et al., 2023), através do Transformers
- PyTorch, Tokenizers e ROCm
- Downloads last month
- 78