.github/instructions/cloud-training.instructions.md

Cloud Training Instructions

Entrenamiento de PAMPAr-Coder en RunPod y otros providers.

RunPod Setup

Conectar

ssh root@IP -p PORT
# Password: en RunPod dashboard o usar SSH key

Preparar entorno

cd /workspace/PAMPAr-Coder
pip install sentencepiece tqdm datasets

Lanzar entrenamiento

# Background con log
nohup python3 cloud/runpod/train_cloud.py \
    --config 3B \
    --data-dir data/distillation \
    --tokenizer data/tokenizer/code_bpe.model \
    --epochs 10 \
    --no-wandb \
    > training.log 2>&1 &

# Monitorear
tail -f training.log
nvidia-smi -l 5  # GPU cada 5 segundos

Configuraciones

Config	Params	VRAM	GPU recomendada
1.5B	~230M	8GB	RTX 3090, A10
3B	~3B	24GB	A40, A100

Ajustar config

# cloud/runpod/config_3b.py
@dataclass
class Config3B:
    vocab_size: int = 32000
    dim: int = 2560
    n_heads: int = 20
    n_capas: int = 32
    max_seq_len: int = 2048
    batch_size: int = 4
    gradient_accumulation: int = 16

Troubleshooting

OOM en GPU

1. Reducir batch_size
2. Reducir max_seq_len
3. Activar use_gradient_checkpointing = True

OOM en RAM (sistema)

1. Usar streaming dataset
2. Reducir workers de DataLoader
3. Modelo se carga en CPU antes de GPU - reducir tamaño

Tokens fuera de rango

• Asegurar vocab_size en config == tokenizer.GetPieceSize()
• Típico: tokenizer tiene 32K, config dice 16K → error

Checkpoints

# Ubicación
/workspace/PAMPAr-Coder/checkpoints/
├── best_model.pt      # Mejor val_loss
├── epoch_N.pt         # Por epoch
└── step_XXXX.pt       # Por steps

# Descargar a local
scp -P PORT root@IP:/workspace/PAMPAr-Coder/checkpoints/best_model.pt ./

Costos estimados

GPU	$/hora	10 epochs (20K samples)
A10	$0.30	~$0.60
A40	$0.40	~$0.80
A100	$1.50	~$3.00