tinymind-native-colab-handoff/bundle/model/tinymind-12b/tinymind_text_sanitize.py

from __future__ import annotations


REPLACEMENTS = {
    "ยuuk": "ยุค",
    "ยùk": "ยุค",
    "ยuค": "ยุค",
    "ยуค": "ยุค",
    "ยуk": "ยุค",
    "ยูค": "ยุค",
    "ข้อควรกระวังเชิงหรือเทคนิค": "ข้อควรระวังเชิงเทคนิค",
    "ข้อควรกระวังเชียชีเทคนิค": "ข้อควรระวังเชิงเทคนิค",
    "ข้อควรกระวังเชื่่งเทคนิค": "ข้อควรระวังเชิงเทคนิค",
    "ข้อครวรกระวางเชื่่ง เทคนิค": "ข้อควรระวังเชิงเทคนิค",
    "ข้อควรกระวัง": "ข้อควรระวัง",
    "ข้อควกระวัง": "ข้อควรระวัง",
    "ตรวดสอบ": "ตรวจสอบ",
    "ตรวญ": "ตรวจ",
    "ตรวช": "ตรวจ",
    "ข้อมูลปนนิด": "ข้อมูลปนเปื้อน",
    "ข้อมูลปนนเปื้อน": "ข้อมูลปนเปื้อน",
    "returnFalse": "return False",
}


def sanitize_generated_text(text: str) -> str:
    cleaned = text
    for bad, good in REPLACEMENTS.items():
        cleaned = cleaned.replace(bad, good)
    return cleaned