README.md

---
library_name: transformers
datasets:
- CEIA-RL/questions-Gemma4-31B
---

# Model Card for Model ID

<!-- Provide a quick summary of what the model is/does. -->



# Experiemento 1
wandb: https://wandb.ai/fazzioni/Energy-RAG-PENSAR/runs/shhdu22m?nw=nwuserfazzioni


|    | model_name             |   final_score |   task_coverage@1 |   relative_quality@1 |   hallucination@1 |   task_coverage@2 |   relative_quality@2 |   hallucination@2 |   task_coverage@4 |   relative_quality@4 |   hallucination@4 |   task_coverage@8 |   relative_quality@8 |   hallucination@8 |
|---:|:-----------------------|--------------:|------------------:|---------------------:|------------------:|------------------:|---------------------:|------------------:|------------------:|---------------------:|------------------:|------------------:|---------------------:|------------------:|
|  6 | [Qwen3-4B-It_step_100](https://huggingface.co/CEIA-RL/Qwen3-4B-Instruct-2507/tree/checkpoint-100)   |       1.71427 |          0.964928 |             0.880293 |          0.130947 |          0.978359 |             0.903613 |          0.102231 |          0.984942 |             0.919117 |         0.0858685 |          0.98846  |             0.929453 |         0.0716891 |
|  1 | Qwen3-4B               |       1.62081 |          0.955043 |             0.859573 |          0.193807 |          0.979347 |             0.907198 |          0.10763  |          0.990235 |             0.93047  |         0.0674664 |          0.995178 |             0.949136 |         0.0417946 |
|  5 | step_280               |       1.60467 |          0.955422 |             0.852986 |          0.203737 |          0.979779 |             0.903061 |          0.11833  |          0.988944 |             0.930389 |         0.0714251 |          0.994842 |             0.950139 |         0.0509117 |
|  3 | step_100               |       1.59409 |          0.94798  |             0.84465  |          0.198544 |          0.974698 |             0.898805 |          0.114971 |          0.986699 |             0.926536 |         0.0783589 |          0.992001 |             0.944597 |         0.0547505 |
|  4 | step_160               |       1.5739  |          0.956219 |             0.851703 |          0.234023 |          0.98095  |             0.903757 |          0.126862 |          0.989395 |             0.929453 |         0.079285  |          0.995441 |             0.947131 |         0.0557246 |
|  0 | Qwen3-4B-Instruct-2507 |       1.55738 |          0.946771 |             0.831468 |          0.220855 |          0.960571 |             0.864074 |          0.171569 |          0.973853 |             0.888018 |         0.137706  |          0.981881 |             0.904151 |         0.114794  |
|  2 | qwen3-4b-dw-lr         |       1.23079 |          0.906166 |             0.734621 |          0.41     |          0.96346  |             0.833205 |          0.265427 |          0.984189 |             0.889002 |         0.171123  |          0.99345  |             0.925326 |         0.112644  |

![img](exp_1_passk.png)


![img](exp_1_maj.png)


# Outputs da Avaliação

https://huggingface.co/CEIA-RL/Energy/blob/exp_1_step_100/step_100_evaluated_8.json
https://huggingface.co/CEIA-RL/Energy/blob/exp_1_step_160/step_160_evaluated_8.json
https://huggingface.co/CEIA-RL/Energy/blob/exp_1_step_280/step_280_evaluated_8.json



```
<|im_start|>system
Inicie com a sua resposta com a tag <pensar> pense passo a passo para resolver o problema e termine o pensamento com </pensar>, ou seja, <pensar> processo de raciocínio aqui </pensar> resposta. É importante que você reflita antes de responder para o usuário.<|im_end|>
<|im_start|>
user
# Use o contexto abaixo para responder a dúvida do usuário, você é um assistente especializado em regulação do setor elétrico brasileiro, com foco em normas da ANEEL, PRODIST e PRORET. Responda de forma técnica, precisa e direta ao ponto, utilizando apenas as informações contidas no contexto. Se a resposta não puder ser encontrada no contexto, responda "Desculpe, não tenho essa informação.

# Contexto:
 P-B25973 P-B25974 388.291,532 m 9.031.391,358 m Lote S/N
P-B25974 P-B25975 388.290,382 m 9.031.398,820 m Lote S/N
P-B25975 P-B25976 388.289,798 m 9.031.406,347 m Lote S/N
P-B25976 P-B25977 388.289,784 m 9.031.413,897 m Lote S/N
P-B25977 P-B25978 388.290,339 m 9.031.421,426 m Lote S/N
P-B25978 P-B25979 388.291,524 m 9.031.429,422 m Lote S/N
P-B25979 P-B25980 388.293,350 m 9.031.437,297 m Lote S/N
P-B25980 P-B25981 388.295,806 m 9.031.444,998 m Lote S/N
P-B25981 P-B25982 388.298,876 m 9.031.452,475 m Lote S/N
P-B25982 P-B25983 388.299,145 m 9.031.453,063 m Lote S/N
POLÍGONO 22DESTINAÇÃO: Reservatório, Área de Preservação Permanente (A.P.P) e Remanescente
LOCALIZAÇÃO DA ÁREA: Porto Velho-RO
DESCRIÇÃO:
ÁREA: 1,3477 ha
PERÍMETRO: 594,819 m
Inicia-se a descrição do perímetro no vértice P-23207 de coordenadas E 387.346,723 m e N
9.031.547,440 m, deste segue, passando por diversos pontos com coordenadas e confrontantes variados


P-22875 P-22874 388.499,453 m 9.031.878,719 m Lote S/N
P-22874 P-22873 388.485,228 m 9.031.877,663 m Lote S/N
P-22873 P-22872 388.471,297 m 9.031.874,593 m Lote S/N
P-22872 P-22871 388.457,946 m 9.031.869,573 m Lote S/N
P-22871 P-22870 388.445,445 m 9.031.862,703 m Lote S/N
P-22870 P-22869 388.434,049 m 9.031.854,124 m Lote S/N
P-22869 P-22868 388.425,240 m 9.031.845,267 m Lote S/N
P-22868 P-22867 388.419,128 m 9.031.844,813 m Lote S/N
P-22867 P-B25797 388.409,564 m 9.031.842,706 m Lote S/N
POLÍGONO 21
DESTINAÇÃO: Reservatório, Área de Preservação Permanente (A.P.P)
LOCALIZAÇÃO DA ÁREA: Porto Velho-RO
DESCRIÇÃO:
ÁREA: 6,7161 haPERÍMETRO: 1.065,930 m
Inicia-se a descrição do perímetro no vértice P-B25983 de coordenadas E 388.299,597 m e N
9.031.453,959 m, deste segue, passando por diversos pontos com coordenadas e confrontantes variados
até o vértice P-B25983 de partida. Todas as coordenadas estão referenciadas ao meridiano central 63°


P-23204 P-23205 387.319,596 m 9.031.558,647 m Lote S/N
P-23205 P-23206 387.322,984 m 9.031.557,394 m Lote S/N
P-23206 P-23207 387.322,911 m 9.031.557,216 m Lote S/NPOLÍGONO 23
DESTINAÇÃO: Reservatório, Área de Preservação Permanente (A.P.P) e Remanescente
LOCALIZAÇÃO DA ÁREA: Porto Velho-RO
DESCRIÇÃO:
ÁREA: 16,0524 ha
PERÍMETRO: 2.126,838 m
Inicia-se a descrição do perímetro no vértice P-23167 de coordenadas E 386.986,942 m e N
9.031.534,701 m, deste segue, passando por diversos pontos com coordenadas e confrontantes variados
até o vértice P-23167 de partida. Todas as coordenadas estão referenciadas ao meridiano central 63°
WGr.; e encontram-se representadas no sistema UTM, tendo como o Datum o SIRGAS2000. Todos as
áreas e perímetros foram calculados no plano de projeção UTM conforme tabela a seguir:
POLÍGONO 23
Coordenada (UTM) Coordenada (UTM)
Estação Vante Confrontante
E N
P-23167 P-B25989 386.986,942 m 9.031.534,701 m Lote 116
P-B25989 P-25990 386.981,272 m 9.031.534,703 m Lote S/N


P-23465 P-23464 385.906,785 m 9.030.941,007 m Lote S/N
P-23464 P-23463 385.913,298 m 9.030.940,366 m Lote S/N
P-23463 P-23462 385.919,838 m 9.030.940,151 m Lote S/N
P-23462 P-23461 385.926,378 m 9.030.940,366 m Lote S/N
P-23461 P-23460 385.932,891 m 9.030.941,007 m Lote S/N
P-23460 P-23459 385.939,347 m 9.030.942,073 m Lote S/N
P-23459 P-23458 385.945,720 m 9.030.943,559 m Lote S/N
P-23458 P-23457 385.951,982 m 9.030.945,458 m Lote S/N
P-23457 P-23456 385.958,106 m 9.030.947,763 m Lote S/N
P-23456 P-23455 385.964,067 m 9.030.950,464 m Lote S/N
POLÍGONO 25
DESTINAÇÃO: Reservatório, Área de Preservação Permanente (A.P.P) e Remanescente
LOCALIZAÇÃO DA ÁREA: Porto Velho-RO
DESCRIÇÃO:
ÁREA: 11,9338 ha
PERÍMETRO: 2.579,213 m
Inicia-se a descrição do perímetro no vértice P-35436 de coordenadas E 391.389,028 m e N
9.026.817,760 m, deste segue, passando por diversos pontos com coordenadas e confrontantes variados
até o vértice P-35436 de partida. Todas as coordenadas estão referenciadas ao meridiano central 63°


P-21903 P-21902 386.175,877 m 9.033.805,526 m Lote 118
P-21902 P-21901 386.177,267 m 9.033.853,470 m Lote 118
P-21901 P-21900 386.177,250 m 9.033.853,649 m Lote 118
P-21900 P-21899 386.170,432 m 9.033.889,668 m Lote 118
P-21899 P-21898 386.170,403 m 9.033.889,780 m Lote 118
P-21898 P-21897 386.157,335 m 9.033.931,568 m Lote 118
P-21897 P-21896 386.157,293 m 9.033.931,679 m Lote 118
P-21896 P-21895 386.157,238 m 9.033.931,784 m Lote 118
P-21895 P-21894 386.157,171 m 9.033.931,882 m Lote 118
P-21894 P-21893 386.154,544 m 9.033.935,276 m Lote 118
P-21893 P-21892 386.156,563 m 9.033.941,829 m Lote 118
P-21892 P-21891 386.158,386 m 9.033.950,338 m Lote 118
POLÍGONO 20DESTINAÇÃO: Reservatório, Área de Preservação Permanente (A.P.P) e Remanescente
LOCALIZAÇÃO DA ÁREA: Porto Velho-RO
DESCRIÇÃO:
ÁREA: 43,2983 ha
PERÍMETRO: 2.837,758 m
Inicia-se a descrição do perímetro no vértice P-B25797 de coordenadas E 388.268,782 m e N 

Qual a destinação atribuída ao Polígono 23 localizado em Porto Velho-RO?<|im_end|>
<|im_start|>assistant
<pensar>
1. Identificar o trecho que fala do Polígono 23 no contexto.  
2. Notar que ele está localizado em Porto Velho-RO.  
3. Observar a linha que começa com “POLÍGONO 23 DESTINAÇÃO: Reservatório, Área de Preservação Permanente (A.P.P) e Remanescente”.  

Assim, a destinação do Polígono 23 é “Reservatório, Área de Preservação Permanente (A.P.P) e Remanescente”.  
</pensar>  
A destinação atribuída ao Polígono 23 localizado em Porto Velho-RO é “Reservatório, Área de Preservação Permanente (A.P.P) e Remanescente”.<|im_end|>

```











## Model Details

### Model Description

<!-- Provide a longer summary of what this model is. -->

This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.

- **Developed by:** [More Information Needed]
- **Funded by [optional]:** [More Information Needed]
- **Shared by [optional]:** [More Information Needed]
- **Model type:** [More Information Needed]
- **Language(s) (NLP):** [More Information Needed]
- **License:** [More Information Needed]
- **Finetuned from model [optional]:** [More Information Needed]

### Model Sources [optional]

<!-- Provide the basic links for the model. -->

- **Repository:** [More Information Needed]
- **Paper [optional]:** [More Information Needed]
- **Demo [optional]:** [More Information Needed]

## Uses

<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->

### Direct Use

<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->

[More Information Needed]

### Downstream Use [optional]

<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->

[More Information Needed]

### Out-of-Scope Use

<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->

[More Information Needed]

## Bias, Risks, and Limitations

<!-- This section is meant to convey both technical and sociotechnical limitations. -->

[More Information Needed]

### Recommendations

<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->

Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.

## How to Get Started with the Model

Use the code below to get started with the model.

[More Information Needed]

## Training Details

### Training Data

<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->

[More Information Needed]

### Training Procedure

<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->

#### Preprocessing [optional]

[More Information Needed]


#### Training Hyperparameters

- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->

#### Speeds, Sizes, Times [optional]

<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->

[More Information Needed]

## Evaluation

<!-- This section describes the evaluation protocols and provides the results. -->

### Testing Data, Factors & Metrics

#### Testing Data

<!-- This should link to a Dataset Card if possible. -->

[More Information Needed]

#### Factors

<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->

[More Information Needed]

#### Metrics

<!-- These are the evaluation metrics being used, ideally with a description of why. -->

[More Information Needed]

### Results

[More Information Needed]

#### Summary



## Model Examination [optional]

<!-- Relevant interpretability work for the model goes here -->

[More Information Needed]

## Environmental Impact

<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->

Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).

- **Hardware Type:** [More Information Needed]
- **Hours used:** [More Information Needed]
- **Cloud Provider:** [More Information Needed]
- **Compute Region:** [More Information Needed]
- **Carbon Emitted:** [More Information Needed]

## Technical Specifications [optional]

### Model Architecture and Objective

[More Information Needed]

### Compute Infrastructure

[More Information Needed]

#### Hardware

[More Information Needed]

#### Software

[More Information Needed]

## Citation [optional]

<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->

**BibTeX:**

[More Information Needed]

**APA:**

[More Information Needed]

## Glossary [optional]

<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->

[More Information Needed]

## More Information [optional]

[More Information Needed]

## Model Card Authors [optional]

[More Information Needed]

## Model Card Contact

[More Information Needed]