Hugging Face's logo

botbotrobotics
/
CabraQwen7b

Text Generation
Transformers
Safetensors
GGUF
Portuguese
English
qwen2
text-generation-inference
qwen
brazil
brasil
portuguese
conversational
Eval Results
Model card Files
xet
Community
2
nicolasdec commited on
Commit
1c77670
·
verified ·
1 Parent(s): ca6fd7f

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +168 -0
README.md ADDED
@@ -0,0 +1,168 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - pt
4
+ - en
5
+ license: cc
6
+ tags:
7
+ - text-generation-inference
8
+ - transformers
9
+ - qwen
10
+ - gguf
11
+ - brazil
12
+ - brasil
13
+ - portuguese
14
+ base_model: Qwen/Qwen1.5-7B-Chat
15
+ pipeline_tag: text-generation
16
+ ---
17
+ # Cabra Qwen 7b
18
+ <img src="https://media.discordapp.net/attachments/1060891441724932096/1223832774490722345/blackpantera_cute_goat_with_blue_Qwen_in_the_background_brazil__408f3b2d-0f92-4195-ba29-ec9227b782ee.png?ex=661b4a17&is=6608d517&hm=f1f4c081e560b9ae5dc562c39606abe552a10b0b38be01b8b73f0e641ff7553f&=&format=webp&quality=lossless&width=700&height=700" width="400" height="400">
19
+
20
+ Esse modelo é um finetune do [Qwen 1.5 7b Chat](https://huggingface.co/Qwen/Qwen1.5-7B-Chat) com o dataset interno Cabra 10k. Esse modelo é optimizado para português e responde em portuguese nativamente. Ele apresenta melhoria em varios benchmarks brasileiros em comparação com o modelo base.
21
+
22
+ **Exprimente o nosso demo aqui: [CabraChat](https://huggingface.co/spaces/nicolasdec/CabraChat).**
23
+
24
+ **Conheça os nossos outros modelos: [Cabra](https://huggingface.co/collections/botbot-ai/models-6604c2069ceef04f834ba99b).**
25
+
26
+ ## Detalhes do Modelo
27
+
28
+ ### Modelo: Qwen 1.5 7b chat
29
+
30
+ Qwen1.5 é uma série de modelos de linguagem que inclui modelos de linguagem decodificadores de diferentes tamanhos de modelo. Para cada tamanho, lançamos o modelo de linguagem base e o modelo de chat alinhado. Baseia-se na arquitetura Transformer com ativação SwiGLU, viés de atenção QKV, atenção de consulta em grupo, mistura de atenção de janela deslizante e atenção completa, etc. Adicionalmente, temos um tokenizador melhorado adaptativo a múltiplas línguas naturais e códigos. Para a versão beta, temporariamente não incluímos GQA e a mistura de SWA e atenção completa.
31
+
32
+ ### dataset: Cabra 10k
33
+
34
+ Dataset interno para finetuning. Vamos lançar em breve.
35
+
36
+ ### Quantização / GGUF
37
+
38
+ Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
39
+
40
+ ### Exemplo
41
+
42
+ ```
43
+ <s> [INST] What makes Brasília special? [/INST] Brasília, a capital do Brasil, é uma cidade única e especial por várias razões. Estabelecida como o novo centro político do país em 1960, ela foi projetada pelo arquiteto Oscar Niemeyer e pelo urbanista Lúcio Costa para ser um símbolo da modernidade e progresso brasileiro.
44
+
45
+ Aqui estão algumas características que tornam Brasília especial:
46
+
47
+ Design Urbano: A cidade é conhecida por seu design inovador e futurista, com seus arranha-céus imponentes, grandes praças abertas e espaços verdes extensos. O layout da cidade segue um padrão de grade, com cada distrito representando diferentes aspectos da cultura e história brasileira.
48
+
49
+ Praça dos Três Poderes: Está enorme praça central é cercada pelos prédios da Assembleia Nacional (conhecido como "Palácio do Planalto"), Senado Federal e Supremo Tribunal Federal. É um marco icônico da cidade e um local popular para eventos políticos.
50
+
51
+ Monumentos e Arquitetura: Brasília possui muitos monumentos impressionantes e edifícios arquitetônicos notáveis, incluindo o Museu Nacional de História Natural e Ciências, o Planetário Anhembi, o Palácio da Alvorada e a Basílica Nossa Senhora Aparecida.
52
+
53
+ Espaços Verdes: A cidade é cercada por parques e reservas naturais, proporcionando aos moradores e visitantes amplos espaços para relaxar, praticar esportes ou simplesmente apreciar a beleza natural do ambiente.
54
+
55
+ Cultura e Eventos: Como a capital nacional, Brasília hospeda vários festivais culturais e eventos importantes ao longo do ano, como o Festival Internacional de Cinema de Brasília, o Carnaval das Nações Unidas e o Festival de Música de Verão de Brasília.
56
+ Significado Histórico: A construção de Brasília marcou um momento significativo na história do Brasil, pois simbolizou sua independência política e busca pela modernização. Ela também serviu como exemplo para outros países em desenvolvimento que buscavam criar novas capitais.
57
+
58
+ Inclusão Social: Brasília foi projetada levando em consideração a inclusão social, com bairros bem planejados distribuídos uniformemente pela cidade para garantir acesso igualitário à educação, saúde e serviços públicos.
59
+
60
+ Em resumo, Brasília é uma cidade única e especial devido ao seu design inovador, pontos turísticos icônicos, conexão histórica com o desenvolvimento do Brasil e compromisso com a inclusão social.
61
+ </s>
62
+
63
+ ```
64
+
65
+ ### Paramentros de trainamento
66
+
67
+ ```
68
+ - learning_rate: 1e-05
69
+ - train_batch_size: 4
70
+ - eval_batch_size: 4
71
+ - seed: 42
72
+ - distributed_type: multi-GPU
73
+ - num_devices: 2
74
+ - gradient_accumulation_steps: 8
75
+ - total_train_batch_size: 64
76
+ - total_eval_batch_size: 8
77
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
78
+ - lr_scheduler_type: cosine
79
+ - lr_scheduler_warmup_ratio: 0.01
80
+ - num_epochs: 3
81
+ ```
82
+
83
+ ### Framework
84
+
85
+ - Transformers 4.39.0.dev0
86
+ - Pytorch 2.1.2+cu118
87
+ - Datasets 2.14.6
88
+ - Tokenizers 0.15.2
89
+
90
+ ## Uso
91
+ O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:
92
+
93
+ - Pesquisa sobre modelos gerativos.
94
+ - Investigação e compreensão das limitações e viéses de modelos gerativos.
95
+
96
+ **Proibido para uso comercial. Somente Pesquisa.**
97
+
98
+ ### Evals
99
+
100
+ | Tasks | Version | Filter | n-shot | Metric | Value | Stderr |
101
+ |-----------------------------|---------|----------------------|--------|----------|--------|---------|
102
+ | assin2_rte | 1.1 | all | 15 | f1_macro | 0.8852 | ± 0.0046 |
103
+ | | | all | 15 | acc | 0.8852 | ± 0.0046 |
104
+ | assin2_sts | 1.1 | all | 15 | pearson | 0.7618 | ± 0.0067 |
105
+ | | | all | 15 | mse | 0.5283 | ± N/A |
106
+ | bluex | 1.1 | all | 3 | acc | 0.5605 | ± 0.0107 |
107
+ | | | exam_id__USP_2021 | 3 | acc | 0.5385 | ± 0.0400 |
108
+ | | | exam_id__UNICAMP_2021_2| 3 | acc | 0.5490 | ± 0.0401 |
109
+ | | | exam_id__USP_2019 | 3 | acc | 0.4750 | ± 0.0455 |
110
+ | | | exam_id__USP_2022 | 3 | acc | 0.4898 | ± 0.0413 |
111
+ | | | exam_id__USP_2020 | 3 | acc | 0.5714 | ± 0.0381 |
112
+ | | | exam_id__UNICAMP_2019| 3 | acc | 0.6200 | ± 0.0398 |
113
+ | | | exam_id__USP_2018 | 3 | acc | 0.5000 | ± 0.0392 |
114
+ | | | exam_id__USP_2024 | 3 | acc | 0.7073 | ± 0.0411 |
115
+ | | | exam_id__UNICAMP_2020| 3 | acc | 0.6000 | ± 0.0382 |
116
+ | | | exam_id__UNICAMP_2024| 3 | acc | 0.6000 | ± 0.0422 |
117
+ | | | exam_id__USP_2023 | 3 | acc | 0.5682 | ± 0.0429 |
118
+ | | | exam_id__UNICAMP_2018| 3 | acc | 0.4444 | ± 0.0391 |
119
+ | | | exam_id__UNICAMP_2021_1| 3 | acc | 0.4783 | ± 0.0425 |
120
+ | | | exam_id__UNICAMP_2023| 3 | acc | 0.6047 | ± 0.0430 |
121
+ | | | exam_id__UNICAMP_2022| 3 | acc | 0.7179 | ± 0.0416 |
122
+ | enem | 1.1 | all | 3 | acc | 0.6921 | ± 0.0071 |
123
+ | | | exam_id__2012 | 3 | acc | 0.7241 | ± 0.0240 |
124
+ | | | exam_id__2015 | 3 | acc | 0.7059 | ± 0.0241 |
125
+ | | | exam_id__2023 | 3 | acc | 0.6741 | ± 0.0233 |
126
+ | | | exam_id__2016_2 | 3 | acc | 0.6992 | ± 0.0238 |
127
+ | | | exam_id__2022 | 3 | acc | 0.6090 | ± 0.0245 |
128
+ | | | exam_id__2010 | 3 | acc | 0.7436 | ± 0.0233 |
129
+ | | | exam_id__2016 | 3 | acc | 0.6612 | ± 0.0248 |
130
+ | | | exam_id__2009 | 3 | acc | 0.7391 | ± 0.0236 |
131
+ | | | exam_id__2014 | 3 | acc | 0.6606 | ± 0.0262 |
132
+ | | | exam_id__2017 | 3 | acc | 0.7155 | ± 0.0241 |
133
+ | | | exam_id__2011 | 3 | acc | 0.7778 | ± 0.0222 |
134
+ | | | exam_id__2013 | 3 | acc | 0.6019 | ± 0.0272 |
135
+ | faquad_nli | 1.1 | all | 15 | f1_macro | 0.5780 | ± 0.0165 |
136
+ | | | all | 15 | acc | 0.7785 | ± 0.0115 |
137
+ | hatebr_offensive_binary | 1.0 | all | 25 | f1_macro | 0.7632 | ± 0.0082 |
138
+ | | | all | 25 | acc | 0.7736 | ± 0.0079 |
139
+ | oab_exams | 1.5 | all | 3 | acc | 0.4323 | ± 0.0061 |
140
+ | | | exam_id__2015-18 | 3 | acc | 0.5000 | ± 0.0322 |
141
+ | | | exam_id__2015-17 | 3 | acc | 0.5128 | ± 0.0326 |
142
+ | | | exam_id__2010-01 | 3 | acc | 0.3412 | ± 0.0297 |
143
+ | | | exam_id__2016-21 | 3 | acc | 0.4000 | ± 0.0317 |
144
+ | | | exam_id__2012-06 | 3 | acc | 0.4500 | ± 0.0322 |
145
+ | | | exam_id__2011-05 | 3 | acc | 0.3750 | ± 0.0313 |
146
+ | | | exam_id__2016-20a | 3 | acc | 0.3250 | ± 0.0302 |
147
+ | | | exam_id__2018-25 | 3 | acc | 0.4250 | ± 0.0319 |
148
+ | | | exam_id__2016-19 | 3 | acc | 0.4359 | ± 0.0325 |
149
+ | | | exam_id__2017-22 | 3 | acc | 0.4250 | ± 0.0319 |
150
+ | | | exam_id__2016-20 | 3 | acc | 0.3875 | ± 0.0315 |
151
+ | | | exam_id__2014-14 | 3 | acc | 0.4875 | ± 0.0324 |
152
+ | | | exam_id__2017-24 | 3 | acc | 0.4625 | ± 0.0322 |
153
+ | | | exam_id__2017-23 | 3 | acc | 0.4250 | ± 0.0320 |
154
+ | | | exam_id__2012-06a | 3 | acc | 0.4625 | ± 0.0321 |
155
+ | | | exam_id__2014-15 | 3 | acc | 0.5256 | ± 0.0326 |
156
+ | | | exam_id__2012-09 | 3 | acc | 0.3377 | ± 0.0310 |
157
+ | | | exam_id__2012-07 | 3 | acc | 0.4500 | ± 0.0322 |
158
+ | | | exam_id__2014-13 | 3 | acc | 0.4500 | ± 0.0322 |
159
+ | | | exam_id__2012-08 | 3 | acc | 0.4750 | ± 0.0323 |
160
+ | | | exam_id__2013-11 | 3 | acc | 0.4250 | ± 0.0319 |
161
+ | | | exam_id__2011-03 | 3 | acc | 0.3636 | ± 0.0279 |
162
+ | | | exam_id__2013-12 | 3 | acc | 0.4625 | ± 0.0321 |
163
+ | | | exam_id__2011-04 | 3 | acc | 0.3875 | ± 0.0315 |
164
+ | | | exam_id__2010-02 | 3 | acc | 0.5400 | ± 0.0288 |
165
+ | | | exam_id__2013-10 | 3 | acc | 0.4250 | ± 0.0320 |
166
+ | | | exam_id__2015-16 | 3 | acc | 0.4125 | ± 0.0318 |
167
+ | portuguese_hate_speech_binary | 1.0 | all | 25 | f1_macro | 0.6969 | ± 0.0119 |
168
+ | | | all | 25 | acc | 0.7356 | ± 0.0107 |