# Huấn luyện Nexus Coder / Training Nexus Coder

## Tổng quan / Overview

Nexus Coder v0.1 có thể được huấn luyện với script `scripts/train.py`. Training data được "hardcoded" với thông tin tác giả.

## Training Data

Dữ liệu huấn luyện nằm trong `nexus/training/dataset.py` và chứa:
- Q&A về tác giả (Hieu Louis)
- Sample code snippets
- Small talk examples
- Cả tiếng Việt và tiếng Anh

Để thêm dữ liệu, chỉnh sửa `AUTHOR_TRAINING_DATA` trong file đó.

## Cấu hình / Configuration

### Tiny config (CPU)
```bash
python scripts/train.py --steps 100 --batch_size 2 --max_length 64
```

### Full 10B config (cần GPU)
```bash
python scripts/train.py --full --steps 5000 --batch_size 4
```

## Yêu cầu hệ thống / System Requirements

### Tiny config
- CPU: bất kỳ
- RAM: 2GB+
- Disk: 100MB

### Full 10B config
- GPU: cần nhiều GPU (VD: 4x A100 80GB)
- RAM: 64GB+
- Disk: 50GB+ cho checkpoints
- Training time: nhiều ngày/tuần

## Hyperparameters mặc định

| Tham số | Giá trị |
|---------|---------|
| Learning rate | 5e-4 |
| Weight decay | 0.01 |
| Warmup steps | 100 |
| Max steps | 5000 |
| Batch size | 4 |
| Gradient accumulation | 4 |
| Save steps | 500 |
| Max grad norm | 1.0 |
| LR schedule | Cosine |
| Optimizer | AdamW (β1=0.9, β2=0.95) |

## Outputs

Training sẽ tạo:
- `checkpoints/nexus_coder-step-{N}.pt` - checkpoint
- `checkpoints/nexus_coder-final.pt` - final checkpoint
- `checkpoints/tokenizer.json` - trained tokenizer
- `checkpoints/training_log.json` - training log

## Tiếp tục từ checkpoint

```bash
# Đang cập nhật trong v0.2
```

## Lưu ý / Notes

⚠️ **v0.1 chỉ là foundation**:
- Tiny config chỉ dùng để verify code chạy được
- Full 10B cần GPU nhiều VRAM và nhiều thời gian
- Model chưa được pre-trained trên corpus lớn
- Để model trả lời thực sự, cần train thêm nhiều dữ liệu