tagパース解除

package/ai.py

@@ -163,14 +163,10 @@ class AI:
                 ]
                 
                 def _clean_text(text: str) -> str:
-                    """制御文字・不可視文字・置換文字・特殊トークンを厳密に取り除く（Llama 3.2対応）"""
+                    """制御文字・不可視文字・置換文字を厳密に取り除く（正規タグは保持）"""
                     if not text:
                         return ""
                     
-                    # Llama 3.2の特殊トークンを除去
-                    for special_token in LLAMA_SPECIAL_TOKENS:
-                        text = text.replace(special_token, "")
-                    
                     # 制御文字（0x00-0x1F、0x7F-0x9F）を除去
                     # ただし、改行・タブ・復帰は許可
                     cleaned = []