hf_processor_vscode/reports/result_analysis.md

Result Analysis

1. Tokenizer

AutoTokenizer는 텍스트 문장을 모델이 처리할 수 있는 정수 ID 형태로 변환한다. 실행 결과 input_ids, token_type_ids, attention_mask가 생성되었다.

• input_ids: 토큰을 vocabulary index로 바꾼 값
• token_type_ids: BERT 계열에서 문장 A/B를 구분하는 값
• attention_mask: 실제 토큰은 1, padding 토큰은 0

저장 후 다시 불러온 tokenizer도 같은 방식으로 입력을 처리할 수 있었다.

2. ImageProcessor

AutoImageProcessor 또는 fallback ViTImageProcessor는 PIL 이미지를 모델 입력용 tensor로 변환한다. 실행 결과 pixel_values의 shape는 (1, 3, 224, 224)로 확인되었다.

이는 다음 의미를 가진다.

• batch size: 1
• channel: 3, RGB 이미지
• height, width: 224 x 224

저장 시 preprocessor_config.json이 생성되며, 이 설정 파일을 통해 같은 전처리 방식을 다시 복원할 수 있다.

3. Processor / CLIP

AutoProcessor 또는 CLIPProcessor는 tokenizer와 image processor를 함께 묶은 객체이다. 따라서 텍스트와 이미지를 동시에 입력받아 다음 key를 생성한다.

• pixel_values: 이미지 입력
• input_ids: 텍스트 토큰 ID
• attention_mask: 텍스트 padding mask
• token_type_ids: tokenizer 종류에 따라 생성될 수 있는 문장 구분 ID

Processor도 save_pretrained()와 from_pretrained() 방식으로 저장하고 복원할 수 있었다.

4. Custom ImageProcessor

ImageProcessingMixin을 상속하여 직접 SimpleVisionImageProcessor를 구현하였다. 이 프로세서는 다음 작업을 수행한다.

1. PIL 이미지 또는 numpy array 입력 처리
2. RGB 변환
3. resize
4. [0, 1] 범위로 rescale
5. mean/std normalize
6. (B, C, H, W) 형식의 pixel_values 생성

저장 전과 저장 후 다시 로드한 processor의 출력 차이를 비교했을 때 max diff = 0.0으로 확인되었다. 즉, 저장/복원 후에도 같은 전처리 결과를 얻었다.

5. 실행 검증

• 모든 Python 파일 문법 검사 통과
• 인터넷이 없는 환경에서 fallback 모드로 python scripts/run_all.py 실행 성공
• 실행 로그는 outputs/logs/run_all_test.log에 저장됨