williampike/thai_indextts2

Thai IndexTTS2

indextts2 thai โมเดล TTS state of the art (sota) ปรับอารมณ์เสียงได้ (พอประมาณ)

อธิบายโมเดลนี้สั้นๆ มันคือ minimax speech เวอร์ชันที่ไม่มีใส่เสียงหัวเราะ เสียงร้องไห้ แค่นั้นแหละ เพราะนี่คือโมเดลที่ finetune จาก indextts2 ตัวต้นฉบับจาก billibilli

🌟 ความสามารถ

• โคลนเสียงได้ ซึ่งโคลนมาทั้งสำเนียงและอารมณ์
• ปรับ duration ได้ (แต่ไม่ค่อยแม่นยำ มี parameter ให้ปรับ แนะนำไปปรับแบบช้าหรือเร็วก็พอ)
• emo vector จุดสำคัญของโมเดลนี้ ที่โมเดลอื่นๆไม่มี สามารถ scale อารมณ์ได้ (ภาษาไทยตอนนี้ ทำได้ดีระดับนึง มีเพิ่ม thai emo vec ให้ปรับด้วย แต่ไม่ค่อยดีนัก)
• เพิ่มระบบตัดเสียงตัดคำอื่นๆ สำหรับภาษาไทยโดยเฉพาะ

🆚 เทียบกับ opensource โมเดลอื่นๆ ที่พูดไทยได้

• vits: ไวกว่ามาก แต่ซัดทิ้งได้เลย เสียงโคลนไม่ได้ และเสียงยาวไปก็พัง
• f5tts thai: ไว โคลนเสียงได้ แต่เสียงออกแนวค่อนข้างโรโบติก และ ไร้ชีวิตชีวา ปรับไรมากไม่ค่อยได้
• vibevoice: ดีและแม่นยำ เจนเสียงยาวเกือบครึ่งชั่วโมงได้ แต่เจนช้า แบบ ช้าโคตรๆ เอาไปใช้ทำไรมากไม่ได้สำหรับภาษาไทย error rate สำหรับ speaker 2 คนสูงมาก
• omnivoice: ดีที่สุดในปัจจุบัน โคลนเสียงตามสำเนียงและอารมณ์ได้ แต่ไม่มีโมเดลที่ "finetune เพิ่มเติมกับ dataset ภาษาไทย" ทำให้บางเสียงยังไม่ค่อยโอเค และ บางอารมณ์ก็แสดงออกมาไม่ค่อยชัด แต่ความเร็ว กับ ความแม่นยำ ถือว่าดีที่สุด
• ของเรา indextts2: แม้นจะช้ากว่า + แม่นยำต่ำกว่า แต่ด้วยการ finetune ผ่าน "dataset ที่ curated มาดี" ทำให้บางเสียงที่ gen ผมรู้สึกว่าดีกว่าตัว omnivoice มาก

✅ indextts2 เหมาะกับ

• คนที่อยากเทสต์ระบบ เผื่อเอาไป finetune เพิ่มเติมต่อ
• คนที่อยากทำเสียง dub ภาษาไทย ทำพากย์ไทยประโยคสั้นๆต่อครั้ง คุณภาพพอๆกับ vibevoice แต่เร็วกว่า vibevoice มาก
• ต้องการเสียงที่มีอารมณ์ (โหมด emo vec ไม่ค่อยแม่นยำ error rate ยังสูงอยู่ แต่โหมดอื่นถือว่าโอเค)
• ต้องการเสียงพากย์ เสียงสารคดี เสียงที่ "คุ้นเคย"

❌ ไม่เหมาะกับ

• สตรีมยาวๆ (error rate ยังสูง)
• ต้องการความเร็ว
• ไม่อยากเจนซ้ำบ่อยๆ
• ใช้ศัพท์ไทยผสมอังกฤษบ่อยๆ

🛠️ เกี่ยวกับการเทรน

• โปรเจกต์นี้ใช้เวลาประมาณ 2 เดือนหลังจากเทรนรอบแรก กินเวลา 99% ไปกับการหา dataset ผมหมายถึง.......ผม prompt ให้ claude หรือ gemini ไปหา dataset ให้ แล้วมันก็บอกว่า yessirrie แค่นั้นแหละ.....จากนั้นมันก็ลบ dataset ทิ้งไปหมดแล้ว lol (dataset ที่ใช้เทรนประมาณ 800 ชั่วโมงรวมการทำ pairing แล้ว)
• อย่างไรก็ตามโมเดลยังสามารถ finetune เพิ่มเติมได้อยู่ ลองดูได้
• ตอนนี้มีโมเดลที่ค่อนข้างดีกว่าอย่าง omnivoice ในแง่ความเร็วและความแม่นยำ ขาดอีกนิดคือแค่อารมณ์เสียง + ข้อความอธิบาย speech ตอนนี้มีโปรเจกต์ opensource หลายโปรเจกต์ที่น่าเอามา finetune ต่อให้คุณภาพพอๆกับ gemini tts

---

🚀 วิธีดาวน์โหลดและติดตั้ง (Installation)

โปรเจกต์นี้ใช้ uv ในการจัดการสภาพแวดล้อมและแพ็กเกจ เพื่อให้ติดตั้งง่ายและแก้ปัญหาเวอร์ชันได้อย่างสมบูรณ์

1. ดาวน์โหลดโปรเจกต์

ใช้คำสั่ง Git เพื่อดาวน์โหลดไฟล์ทั้งหมด:

git clone https://huggingface.co/williampike/thai_indextts2
cd thai_indextts2

2. สร้าง Virtual Environment และติดตั้ง Dependencies

ตรวจสอบว่าในเครื่องมี uv แล้ว (หากยังไม่มี ให้รัน pip install uv ก่อน) จากนั้นรันคำสั่งเหล่านี้เพื่อสร้าง Virtual Environment และติดตั้งแพ็กเกจ:

# สร้าง virtual environment
uv venv

# ติดตั้งแพ็กเกจทั้งหมดตามที่ระบุไว้
uv pip install -e .

(เคล็ดลับ: คุณสามารถใช้แค่คำสั่ง uv sync เพื่อจัดการทุกอย่างในรวดเดียวได้เช่นกัน)

3. รันโปรแกรม

เมื่อติดตั้งเสร็จเรียบร้อยแล้ว ให้รันโปรแกรมด้วย uv run เพื่อเรียกใช้งานสภาพแวดล้อมที่ถูกต้อง:

uv run webui.py

(ถ้าต้องการรันไฟล์อื่น เช่น webui_parallel_thai.py ก็สามารถเปลี่ยนชื่อไฟล์ในคำสั่งได้เลย)

---

✨ ฟีเจอร์ใหม่ใน webui_parallel_thai.py (เมื่อเทียบกับต้นฉบับ IndexTTS2)

ไฟล์ webui_parallel_thai.py ได้รับการปรับแต่งและเพิ่มฟีเจอร์สำหรับภาษาไทยโดยเฉพาะ ดังนี้:

1. รองรับภาษาไทยเต็มรูปแบบ (Thai Localization): เปลี่ยนเมนูและคำอธิบายใน UI เป็นภาษาไทยทั้งหมด เพื่อให้ใช้งานง่ายขึ้น
2. ระบบ Auto-load โมเดลภาษาไทย: เมื่อเปิด WebUI จะตรวจสอบและโหลดโมเดล thaiseperate2.pth พร้อมกับ BPE tokenizer สำหรับภาษาไทยให้โดยอัตโนมัติ (หากมีในระบบ)
3. โหมดแยกส่วนเสียง (Segment Mode): แท็บ UI ใหม่ที่ช่วยแบ่งข้อความยาวๆ เป็นประโยคย่อย และกดสร้างเสียงทีละท่อนได้ สามารถกดย้อนกลับเพื่อสร้างท่อนล่าสุดใหม่ (Regenerate Last) ก่อนที่จะนำมารวมกันเป็นไฟล์เดียว
4. ตัวประมวลผลข้อความภาษาไทย (Thai Text Preprocessor): ทำงานร่วมกับ PyThaiNLP ช่วยในการตัดคำและเตรียมข้อความให้เหมาะสมก่อนนำไปสร้างเสียง (สามารถเปิด-ปิดฟีเจอร์ G2P และ Dataset Spacing ได้)
5. ระบบตัดเสียงเงียบอัตโนมัติ (Silence Trimming): มีฟังก์ชันช่วยตัดเสียงเงียบที่ยาวเกินไปทิ้ง ทั้งในไฟล์เสียง Prompt ต้นฉบับและไฟล์ Output อัตโนมัติ เพื่อให้จังหวะการพูดลื่นไหล
6. ระบบ Auto-Retry อัจฉริยะ: หากเสียงที่สร้างออกมามีความยาวผิดปกติเมื่อเทียบกับจำนวนคำ (เช่น เสียงขาดหาย หรือเสียงยานลากยาว) ระบบจะสั่ง Generate ใหม่ให้อัตโนมัติทันที
7. เวกเตอร์ควบคุมอารมณ์แบบภาษาไทย (Thai 5-Emo Vectors): เปลี่ยนระบบสไลเดอร์อารมณ์มาใช้แบบ 5-Emo ที่ออกแบบมาสำหรับโมเดลภาษาไทยโดยเฉพาะ เพื่อการควบคุมที่แม่นยำยิ่งขึ้น