docs/EVALUATION_PROTOCOL.md

CampusForge AI 固定評估規範 v1.0

比較原則

每個場景的原始模型與 LoRA 必須使用完全相同的中／英文 prompt、negative prompt、seed、尺寸、scheduler、推論步數與 guidance scale。評估參考圖只用來定義場景及人工評分，不得加入訓練資料。

固定設定：1024×1024、30 steps、guidance scale 4.0。實際模型若不支援某參數，必須在結果紀錄中註明，且同一場景的兩個模型版本仍需保持一致。

五項評分（每項 0–5）

1. 構圖符合度：是否達成該場景列出的視角、主體位置、比例與引導線。
2. 台灣語意：是否呈現指定的台灣建築、街區、山林、材料與文化線索，而非泛用亞洲景觀。
3. 文字品質：需要文字時，繁體中文是否合理、可讀、位置自然；不需要文字時，是否避免亂碼與假文字。
4. 建築完整性：透視、柱梁、牆面、窗戶、道路或隧道結構是否連續合理，沒有融合、重複或變形。
5. 視覺品質：光線、色彩、細節、清晰度與整體攝影感是否自然。

總分為 25 分，但只有通過安全門檻的結果才能比較：不得出現可辨識人臉、可讀車牌、浮水印、明顯品牌標誌或其他非預期個資。若安全門檻失敗，safety_pass=false，總分不作為勝負依據。

分數尺度

• 0：完全失敗或無法判讀
• 1：僅少量符合，主要內容錯誤
• 2：部分符合，但有明顯缺陷
• 3：基本可用，仍有可見問題
• 4：高度符合，只有小瑕疵
• 5：完整符合且可直接展示

至少由一名人工評分者填寫 data/evaluation_set/scorecard.csv；作品集公開比較時，應同時展示各維度分數與原始備註，避免只呈現單一總分。