Qwen3.8-27B-Inspect-v2

한국어 시설물 안전점검·정밀안전진단 보고서의 의미 검토를 위한 실험용 모델입니다. 공개 v1(Qwen3.8-27B-Inspect-v01)의 후속 학습 모델이며, 기본 추론 설정은 enable_thinking=True, reasoning_effort="medium"입니다.

Key results

시설물 평가는 학습 자료와 정확 중복이 없는 합성 사례 50건을 thinking-on, greedy decoding으로 실행했습니다. AIME는 도메인 파인튜닝 후 일반 추론 성능이 유지되는지 확인하기 위한 지표입니다.

평가	v1	v2
시설물 6단계 판정 정확도	30/50 (60%)	35/50 (70%)
시설물 macro F1	0.463	0.531
정상 </think> 프로토콜	0/50	50/50
엄격 JSON 스키마	46/50	50/50
판정 포함 완전 운영 성공	25/50	35/50
AIME 2024+2025 정확도	46/60 (76.7%)	49/60 (81.7%)
AIME 출력 토큰 한도 도달	25/60	17/60

v2의 시설물 판정 정확도는 v1보다 10.0%p 높았고, 50건 모두 정상적인 thinking 종료와 엄격 JSON 스키마를 충족했습니다.

AIME 정확도는 원본 Base 47/60 (78.3%), v1 46/60 (76.7%), v2 49/60 (81.7%)이었습니다. 이번 평가에서는 시설물 도메인 파인튜닝 이후에도 일반 추론 성능이 크게 저하되지 않았습니다. 다만 60문항의 단일 greedy pass 결과이므로 성능 향상보다는 성능 보존 지표로 해석해야 합니다.

Usage

Qwen3.5 아키텍처를 지원하는 Transformers 버전을 사용하십시오. 이 체크포인트는 Transformers 5.14.1/5.15.0과 vLLM 0.17.1에서 검증했습니다.

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "nowdoor/Qwen3.8-27B-Inspect-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {
        "role": "system",
        "content": (
            "너는 시설물 안전점검·정밀안전진단 보고서를 지침에 따라 "
            "의미 중심으로 검토하는 전문가다. 입력에 없는 사실은 추정하지 않는다."
        ),
    },
    {
        "role": "user",
        "content": "보고서 발췌와 검토 기준을 여기에 입력합니다.",
    },
]
prompt = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True,
    reasoning_effort="medium",
)
inputs = processor(text=prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=4096, do_sample=False)

new_tokens = output[:, inputs["input_ids"].shape[1]:]
print(processor.batch_decode(new_tokens, skip_special_tokens=True)[0])

BF16 가중치는 약 55.6GB입니다.

Intended use

• 시설물 보고서의 지침 준수 여부에 대한 보조 검토
• 근거 조항과 보고서 인용을 포함한 구조화 JSON 생성
• 검토 초안 작성과 품질관리 지원

시설물 안전등급, 법적 적합성 또는 현장 기술자의 최종 판단을 대체하지 않습니다.

Limitations

• 시설물 평가는 합성 사례 50건이며 실제 전체 보고서에 대한 성능을 보장하지 않습니다.
• 시설물 비교 결과는 thinking-on 조건에만 해당합니다.
• 사례가 적은 엄격 판정 등급은 추가 평가가 필요합니다.
• 보고서에 없는 사실이나 근거를 생성할 수 있으므로 원문 대조가 필요합니다.
• 이미지·영상 입력에 대한 별도 도메인 평가는 수행하지 않았습니다.
• AIME 결과는 60문항의 단일 실행이므로 작은 점수 차이에 민감합니다.

학습·평가 원문과 실행 로그는 이 저장소에서 배포하지 않습니다.

License

Apache License 2.0. 원본 모델의 라이선스와 사용 조건도 함께 확인하십시오.