Instructions to use botbotrobotics/Cabra-72b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use botbotrobotics/Cabra-72b with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="botbotrobotics/Cabra-72b")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("botbotrobotics/Cabra-72b")
model = AutoModelForCausalLM.from_pretrained("botbotrobotics/Cabra-72b", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use botbotrobotics/Cabra-72b with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "botbotrobotics/Cabra-72b"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "botbotrobotics/Cabra-72b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/botbotrobotics/Cabra-72b

SGLang

How to use botbotrobotics/Cabra-72b with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "botbotrobotics/Cabra-72b" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "botbotrobotics/Cabra-72b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "botbotrobotics/Cabra-72b" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "botbotrobotics/Cabra-72b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use botbotrobotics/Cabra-72b with Docker Model Runner:
```
docker model run hf.co/botbotrobotics/Cabra-72b
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

Cabra 72b

Cabra 72b é um finetune do Qwen 1.5 72b Chat com o dataset Cabra 30k. Esse modelo é otimizado para português e responde em portuguese. Ele apresenta melhoria em vários benchmarks brasileiros em comparação com o modelo base.

Conheça os nossos outros modelos Cabra.

Detalhes do modelo base

Modelo: Qwen 1.5 72b chat

Qwen1.5 é uma série de modelos de linguagem que inclui modelos de linguagem decodificadores de diferentes tamanhos de modelo. Para cada tamanho, lançamos o modelo de linguagem base e o modelo de chat alinhado. Baseia-se na arquitetura Transformer com ativação SwiGLU, viés de atenção QKV, atenção de consulta em grupo, mistura de atenção de janela deslizante e atenção completa, etc. Adicionalmente, temos um tokenizador melhorado adaptativo a múltiplas línguas naturais e códigos. Para a versão beta, temporariamente não incluímos GQA e a mistura de SWA e atenção completa.

dataset: Cabra 30k

Dataset interno para fine-tuning. Vamos lançar em breve.

Quantização / GGUF

Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization". Infelizmente o HF limita o tamanho de arquivo a <50gb.

Exemplo

<s> [INST]Quem são os jogadores brasileiros de futebol mais conhecidos, atuais e pasados? [/INST] 

O Brasil tem uma rica história na produção de alguns dos maiores jogadores de futebol do mundo. Alguns dos jogadores brasileiros mais importantes atualmente e que já jogaram incluem:

Pelé - amplamente considerado um dos maiores jogadores de todos os tempos, o Pelé venceu três Copas do Mundo com o Brasil e marcou mais de 1.000 gols em sua carreira.
Ronaldo Nazário de Lima - conhecido como Ronaldo, este jogador de ataque é o segundo maior artilheiro da história da seleção brasileira e ajudou o Brasil a vencer duas Copas do Mundo.

Ronaldinho Gaúcho - um criativo meio-campista ofensivo que jogou pelo Barcelona e pela AC Milan, o Ronaldinho foi nomeado Jogador Mundial FIFA de 2004 e ajudou o Brasil a vencer a Copa do Mundo de 2002.

Neymar Jr. - um dos melhores jogadores do mundo hoje, o Neymar desempenhou um papel fundamental ao liderar o Brasil para várias vitórias em torneios principais e é conhecido por suas habilidades incríveis de drible e capacidade de marcar gols.

Esses são apenas alguns exemplos dos muitos talentosos jogadores de futebol que vieram do Brasil ao longo de sua rica história.
</s>

Paramentros de trainamento

- train/epoch: 3
- train/global_step: 1,893
- train/grad_norm: 0.5843151168226935
- train/learning_rate: 0.00000000006323276533
- train/loss: 0.4379
- train/total_flos: 7,334,660,338,089,984
- train/train_loss: 0.628420232404053
- train/train_runtime: 415,863.2395
- train/train_samples_per_second: 0.437
- train/train_steps_per_second: 0.005
- GPU: 8x A100 80GB SXB

Framework

Transformers 4.39.0.dev0
Pytorch 2.1.2+cu118
Datasets 2.14.6
Tokenizers 0.15.2

Uso

O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:

Pesquisa sobre modelos gerativos.
Investigação e compreensão das limitações e vieses de modelos gerativos.

**Proibido para uso comercial. Somente Pesquisa. Entre em contato para mais informações. **

Evals

Tasks	Version	Filter	n-shot	Metric	Value	±	Stderr
assin2_rte	1.1	all	15	f1_macro	0.9358	±	0.0035
		all	15	acc	0.9359	±	0.0035
assin2_sts	1.1	all	15	pearson	0.7803	±	0.0068
		all	15	mse	0.5815	±	N/A
bluex	1.1	all	3	acc	0.6745	±	0.0101
		exam_id__USP_2019	3	acc	0.5500	±	0.0453
		exam_id__UNICAMP_2021_1	3	acc	0.5870	±	0.0418
		exam_id__USP_2020	3	acc	0.6250	±	0.0373
		exam_id__USP_2022	3	acc	0.6939	±	0.0381
		exam_id__UNICAMP_2019	3	acc	0.7200	±	0.0367
		exam_id__UNICAMP_2024	3	acc	0.5778	±	0.0425
		exam_id__USP_2018	3	acc	0.5926	±	0.0385
		exam_id__USP_2021	3	acc	0.6538	±	0.0381
		exam_id__UNICAMP_2023	3	acc	0.7442	±	0.0385
		exam_id__UNICAMP_2021_2	3	acc	0.6667	±	0.0380
		exam_id__UNICAMP_2020	3	acc	0.7091	±	0.0355
		exam_id__USP_2023	3	acc	0.8182	±	0.0336
		exam_id__USP_2024	3	acc	0.8537	±	0.0318
		exam_id__UNICAMP_2022	3	acc	0.6667	±	0.0435
		exam_id__UNICAMP_2018	3	acc	0.6852	±	0.0364
enem	1.1	all	3	acc	0.8062	±	0.0060
		exam_id__2016_2	3	acc	0.7967	±	0.0210
		exam_id__2014	3	acc	0.8165	±	0.0214
		exam_id__2010	3	acc	0.8291	±	0.0202
		exam_id__2023	3	acc	0.8000	±	0.0199
		exam_id__2009	3	acc	0.7913	±	0.0219
		exam_id__2017	3	acc	0.7931	±	0.0217
		exam_id__2011	3	acc	0.8718	±	0.0178
		exam_id__2015	3	acc	0.8151	±	0.0205
		exam_id__2012	3	acc	0.8621	±	0.0185
		exam_id__2016	3	acc	0.8430	±	0.0190
		exam_id__2013	3	acc	0.7870	±	0.0228
		exam_id__2022	3	acc	0.6842	±	0.0233
faquad_nli	1.1	all	15	f1_macro	0.4545	±	0.0081
		all	15	acc	0.7877	±	0.0113
hatebr_offensive_binary	1.0	all	25	f1_macro	0.7212	±	0.0087
		all	25	acc	0.7393	±	0.0083
oab_exams	1.5	all	3	acc	0.5718	±	0.0061

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard

Metric	Value
Average	70.52
ENEM Challenge (No Images)	80.62
BLUEX (No Images)	67.45
OAB Exams	57.18
Assin2 RTE	93.58
Assin2 STS	78.03
FaQuAD NLI	45.45
HateBR Binary	72.12
PT Hate Speech Binary	68.65
tweetSentBR	71.64