test/run_ttrlvr_azr_training.sh

#!/bin/bash
set -x

# GPU 설정 (기본값: 5)
GPU_ID=${GPU_ID:-3}
export CUDA_VISIBLE_DEVICES=$GPU_ID

# 환경 변수 설정
export VLLM_ATTENTION_BACKEND=FLASH_ATTN
export RAY_memory_monitor_refresh_ms=0
export RAY_LOGGING_LEVEL=DEBUG
export HYDRA_FULL_ERROR=1
export PYTHONPATH="${PYTHONPATH}:/home/ubuntu/RLVR/verl:/home/ubuntu/RLVR/TestTime-RLVR-v2"

# 로그 디렉토리 생성
LOG_DIR="/home/ubuntu/RLVR/TestTime-RLVR-v2/logs"
mkdir -p "$LOG_DIR"

# 타임스탬프 생성
TIMESTAMP=$(date +"%Y%m%d_%H%M%S")
LOG_FILE="$LOG_DIR/ttrlvr_azr_training_${TIMESTAMP}.log"

echo "📝 Logging to: $LOG_FILE"

# TTRLVR 데이터 경로
TTRLVR_DATA_PATH="/home/ubuntu/RLVR/TestTime-RLVR-v2/tmp/batch_results/ttrlvr_azr_20250730_155352/mbpp/Mbpp_7/round_1/azr_training_data"

# main_azr_ppo 직접 실행 (tee로 콘솔과 파일에 동시 출력)
python -m absolute_zero_reasoner.main_azr_ppo \
    --config-path=/home/ubuntu/RLVR/TestTime-RLVR-v2/test/configs \
    --config-name=ttrlvr_azr_ppo \
    data.train_files=$TTRLVR_DATA_PATH \
    data.val_files=$TTRLVR_DATA_PATH \
    trainer.experiment_name="ttrlvr_azr_gpu${GPU_ID}" 2>&1 | tee "$LOG_FILE"

# 실행 결과 저장
EXITCODE=${PIPESTATUS[0]}

# 로그 파일 끝에 실행 결과 추가
echo "" >> "$LOG_FILE"
echo "========================================" >> "$LOG_FILE"
echo "Execution finished at: $(date)" >> "$LOG_FILE"
echo "Exit code: $EXITCODE" >> "$LOG_FILE"

# 요약 정보 출력
echo ""
echo "✅ Training completed!"
echo "📄 Full log saved to: $LOG_FILE"
echo "🔍 Exit code: $EXITCODE"

exit $EXITCODE