docs/THAI_VALIDATION_READINESS_TH.md

# Thai Validation Readiness

> สถานะ v0.19.0: Clinical Readiness Enhancements + Thai Validation Readiness Pack  
> เอกสารนี้ใช้กำหนดขอบเขตที่ปลอดภัยของ prototype และสิ่งที่ต้องทำก่อนนำไปใช้กับเด็กไทยจริง

## A. Current Status

โมเดลปัจจุบันถูก train/evaluate จาก public corpora ภาษาอังกฤษในรูปแบบ CHAT/TalkBank/ASDBank เป็นหลัก และใช้เพื่อสาธิต workflow ของ AI-assisted screening support, risk estimate, decision support และ progress tracking

ข้อจำกัดสำคัญ:

- ยังไม่ได้ validated กับข้อมูลเด็กไทย
- ยังไม่มี Thai child clinical dataset ในโปรเจกต์นี้
- ยังไม่ควรใช้เป็นเครื่องมือวินิจฉัย ASD
- ยังไม่พร้อมสำหรับ clinical deployment
- ผลลัพธ์ทุกแบบต้องอ่านร่วมกับผู้เชี่ยวชาญแบบ human-in-the-loop

## B. What Is Already Ready

สิ่งที่ prototype เตรียมไว้แล้ว:

- audio/CHAT pipeline สำหรับแปลง audio เป็น `.cha` และสกัด features
- 13-feature schema ที่ใช้ร่วมกันระหว่าง model, dashboard และ artifacts
- Model Trust dashboard สำหรับ threshold, calibration, fairness audit, decision curve, subgroup และ leave-one-corpus-out review
- uncertainty band เพื่อไม่บังคับผลลัพธ์ binary เมื่อโมเดลไม่มั่นใจ
- XAI/explainability เพื่อดู feature contribution ของแต่ละ prediction
- progress tracking จาก longitudinal sessions
- parent-safe wording และ no-data-retention framing ใน public demo
- AI Transcript Reviewer สำหรับตรวจ `.cha`, Thai language tag readiness และ ASR confidence ก่อน feature extraction
- Therapist Progress Report สำหรับสรุป trend หลาย session เป็น Markdown/PDF โดยไม่สรุปผลทางการแพทย์แทนผู้เชี่ยวชาญ
- AI Speech Therapist Assistant สำหรับสรุป transcript quality, speech-language patterns, screening risk estimates และ progress trends ให้ therapist review
- Clinician Workflow Simulator สำหรับสาธิต transcript QA, screening pattern interpretation และ progress case brief ใน workflow เดียว
- fairness/calibration CSV exports สำหรับ ECE, Brier score, group TPR/FPR difference และ demographic parity difference บนข้อมูลเดิม

## C. What Is Still Required For Real Thai Deployment

ก่อนใช้งานจริงกับเด็กไทย ต้องมีอย่างน้อย:

- Thai child speech/audio dataset
- expert-confirmed labels จากนักบำบัดหรือแพทย์ผู้เชี่ยวชาญ
- metadata ด้าน age, sex, language background และบริบทการบันทึก
- gold transcript หรือ human-reviewed transcript
- ASR quality evaluation สำหรับเสียงเด็กไทย
- feature drift analysis ระหว่าง gold transcript และ ASR transcript
- external validation แยกจากข้อมูลที่ใช้พัฒนา
- calibration สำหรับ population ไทย
- subgroup performance แยกตามอายุ เพศ ภาษา และกลุ่มพัฒนาการ
- fairness and calibration monitoring หลัง recalibration กับข้อมูลไทย
- IRB/consent/privacy workflow ที่ชัดเจน
- clinician workflow testing ก่อนตัดสินใจ deploy

## D. Minimal Future Pilot Design

pilot ระยะ feasibility ควรเริ่มขนาดเล็กและเน้นตรวจ workflow มากกว่าการ claim clinical accuracy:

- 30-50 cases เป็น feasibility pilot
- ถ้าเป็นไปได้ควรมีกลุ่ม ASD / TD / developmental delay
- audio 5-10 นาทีต่อเด็กหนึ่งคน
- transcript ต้องผ่าน human review
- เก็บ metadata อายุ เพศ ภาษาในบ้าน และบริบท session
- เปรียบเทียบ gold transcript features vs ASR transcript features
- เปรียบเทียบ original English-trained model vs recalibrated model
- เปรียบเทียบ screening output กับ expert assessment
- รายงานผลเป็น feasibility, data quality, feature drift และ calibration readiness ไม่ใช่ Thai diagnostic validation

## E. Safe Claim Wording

ใช้คำเหล่านี้:

- screening support
- risk estimate
- progress tracking
- decision support
- requires expert assessment
- human-in-the-loop
- external validation required

หลีกเลี่ยง wording ที่สื่อว่า:

- ระบบสรุปผลทางการแพทย์ได้เอง
- ระบบยืนยัน ASD ได้
- ระบบผ่าน validation กับเด็กไทยแล้ว
- ระบบแทน clinician ได้
- ระบบพร้อมใช้งานจริงทางคลินิกแล้ว

ถ้ากล่าวถึง parent screening tools ภายนอก ให้ระบุว่าเป็นเครื่องมือ established ภายนอก และต้องตรวจ permission/licensing ก่อนทำ electronic หรือ commercial use ห้าม copy คำถาม M-CHAT-R/F เข้าโปรเจกต์นี้

## AI Speech Therapist Assistant

Assistant layer นี้ทำหน้าที่ช่วยนักบำบัดด้านภาษาและการสื่อสารอ่านผลจากระบบเดิมอย่างปลอดภัย:

- สรุป Transcript QA ว่า transcript ใช้ต่อได้หรือควรให้คนตรวจเพิ่ม
- อธิบาย speech-language pattern จาก 13-feature schema โดยใช้ wording แบบ descriptive
- สรุป screening risk estimate เมื่อมี probability จากโมเดล
- สรุป progress trend จากหลาย session และสร้าง therapist-facing case brief

Assistant นี้เป็น decision support เท่านั้น ต้องมี human-in-the-loop และยังต้องใช้ร่วมกับ expert assessment เสมอ ในบริบทไทยยังต้องมี Thai validation dataset, external validation, calibration และ subgroup audit ก่อนใช้งานจริง

## v0.19.0 Readiness Enhancements

v0.19.0 เพิ่มชั้นตรวจสอบที่ทำได้โดยไม่ต้องใช้ Thai child data:

- ตรวจ Thai characters ใน utterance และเตือนเมื่อ `@Languages` ยังไม่มี `tha`
- อ่านค่า ASR/diarization confidence จาก transcript metadata หากมี และเตือนเมื่อ average confidence ต่ำกว่า 0.6
- สร้าง fairness/calibration audit จาก `binary_oof_predictions.csv` เพื่อดู ECE, Brier score, TPR/FPR difference และ demographic parity difference
- เพิ่ม PDF export สำหรับ therapist progress report
- เพิ่ม Clinician Workflow Simulator เพื่อทดลอง workflow แบบ human-in-the-loop

ข้อควรระวัง: fairness/calibration audit ในรอบนี้ใช้ English-speaking public corpora เป็นหลัก จึงเป็น governance readiness signal ไม่ใช่ Thai clinical validation result

## F. No Thai Data Yet: What This Demo Proves

ถึงแม้ยังไม่มี Thai clinical validation data, demo นี้พิสูจน์ได้ว่า:

- technical workflow เป็นไปได้ ตั้งแต่ audio/CHAT ไปจนถึง features, risk estimate และ report
- model governance structure ถูกเตรียมไว้ เช่น model card, uncertainty band, calibration view, fairness audit และ subgroup audit framework
- reporting and safety layer มีแล้ว เช่น parent-safe wording, AI Transcript Reviewer, ASR confidence warning และ Thai-safe therapist report
- therapist-facing explanation layer มีแล้วผ่าน AI Speech Therapist Assistant
- ระบบสามารถรับ Thai validation data ในอนาคตผ่าน schema และ workflow เดิม

แต่ demo นี้ยังไม่พิสูจน์ Thai clinical accuracy และไม่ควรใช้เพื่อบอกว่าโมเดลแม่นยำสำหรับเด็กไทย จนกว่าจะมี external validation, calibration และ expert-reviewed Thai dataset ที่เหมาะสม