Update README.md
Browse files
README.md
CHANGED
|
@@ -62,6 +62,11 @@ Em apoio aos países de língua portuguesa.
|
|
| 62 |
|
| 63 |
Usamos o mesmo prompt usado no fine-tune do modelo [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1). Você pode saber mais no repositório oficial no [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
|
| 64 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 65 |
## Como Usar
|
| 66 |
|
| 67 |
```python
|
|
@@ -146,6 +151,11 @@ In support of portuguese-speaking countries.
|
|
| 146 |
|
| 147 |
We used the same prompt used in the fine-tune of the [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1) model. You can find out more in the official repository on [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
|
| 148 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 149 |
## How to Use
|
| 150 |
|
| 151 |
```python
|
|
|
|
| 62 |
|
| 63 |
Usamos o mesmo prompt usado no fine-tune do modelo [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1). Você pode saber mais no repositório oficial no [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
|
| 64 |
|
| 65 |
+
## Avaliação
|
| 66 |
+
|
| 67 |
+
O modelo foi avaliado no conjunto de dados [XWinograd - pt](https://huggingface.co/datasets/Muennighoff/xwinograd) que consiste em uma simples task de fill-mask. Alcançamos resultados que variaram entre 40.03 e 50.19 de acurácia, dependendo da configuração de prompt utilizada.
|
| 68 |
+
Não foi aplicado nenhum tipo de correção na saída do modelo, apenas realizamos uma etapa de pós processamento para extração do valor de interesse.
|
| 69 |
+
|
| 70 |
## Como Usar
|
| 71 |
|
| 72 |
```python
|
|
|
|
| 151 |
|
| 152 |
We used the same prompt used in the fine-tune of the [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1) model. You can find out more in the official repository on [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
|
| 153 |
|
| 154 |
+
## Evaluation
|
| 155 |
+
|
| 156 |
+
The model was evaluated on the dataset [XWinograd - pt](https://huggingface.co/datasets/Muennighoff/xwinograd) which consists of a simple fill-mask task. We achieved results that varied between 40.03 and 50.19 accuracy, depending on the prompt configuration used.
|
| 157 |
+
No type of correction was applied to the model output, we only carried out a post-processing step to extract the value of interest.
|
| 158 |
+
|
| 159 |
## How to Use
|
| 160 |
|
| 161 |
```python
|