File size: 2,530 Bytes
a6fbb35
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
---
title: EDA Model Training
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: docker
sdk_version: "latest"
app_file: app.py
pinned: false
---

# Treinamento do Modelo EDA

Este Space contém o script de treinamento para o modelo de Análise Exploratória de Dados (EDA).

## Configuração

### Variáveis de Ambiente Obrigatórias

**⚠️ IMPORTANTE**: Configure a variável de ambiente `HF_TOKEN` no Settings do Space para habilitar o push automático dos checkpoints para o Hub.

### Variáveis de Ambiente

Configure as seguintes variáveis de ambiente no Settings do Space:

- **`HF_TOKEN`** (OBRIGATÓRIO): Seu token do HuggingFace com permissões de escrita
  - Gere em: https://huggingface.co/settings/tokens
  - Permissões necessárias: `write`
  - Sem este token, o treinamento funcionará mas os checkpoints não serão enviados ao Hub

- `MODEL_NAME`: Modelo base (padrão: `microsoft/Phi-3-mini-4k-instruct`)
- `DATASET_REPO`: ID do dataset (padrão: `beAnalytic/eda-training-dataset`)
- `OUTPUT_REPO`: ID do modelo de saída (padrão: `beAnalytic/eda-llm-model`)

### Como Configurar HF_TOKEN no Space

1. Acesse: https://huggingface.co/spaces/beAnalytic/Training/settings
2. Vá para a seção **"Repository secrets"**
3. Clique em **"New secret"**
4. Nome: `HF_TOKEN`
5. Valor: Cole seu token do HuggingFace
6. Clique em **"Add secret"**

**Nota**: O token será usado automaticamente pelo script durante o treinamento.

### Execução

O script `train.py` será executado automaticamente quando o Space for iniciado.

## Estrutura

- `train.py`: Script principal de treinamento
- `training_config.json`: Configurações de treinamento
- `requirements.txt`: Dependências Python

## Monitoramento

Acompanhe o progresso do treinamento através dos logs do Space na aba "Logs".

### TensorBoard

O TensorBoard está configurado e rodando na porta 6006 dentro do container. No HuggingFace Space com Docker SDK, apenas a porta 7860 é exposta publicamente, então o TensorBoard não é acessível diretamente via URL.

**Para visualizar métricas**:
- Durante o treinamento: Acompanhe os logs na aba "Logs"
- Após o treinamento: Baixe os logs de `./results/` e execute `tensorboard --logdir=./results` localmente
- Acesse: http://localhost:6006 (após baixar os logs)

Para mais detalhes, consulte [ACESSAR_TENSORBOARD.md](../huggingface_training_config/docs/ACESSAR_TENSORBOARD.md).

## Resultados

O modelo treinado será salvo automaticamente no HuggingFace Hub no repositório especificado em `OUTPUT_REPO`.