Update core.py

core.py

@@ -16,18 +16,54 @@ def parse_srt(srt_path):
         print(f"解析字幕檔案錯誤: {e}")
         return None
 
-# 預處理逐字稿
+# 改進的預處理逐字稿函數
 def preprocess_transcript(transcript):
-        # 移除 SSML 標籤
+    # 移除 SSML 標籤
     transcript = re.sub(r'<[^>]*?>', '', transcript)
+    
     # 移除多個連續空格
     transcript = re.sub(r'\s+', ' ', transcript)
-    # 移除所有換行符號
-    transcript = transcript.replace('\n','')
+    
+    # 將連續多個換行替換為單個分隔符（而不是完全移除）
+    transcript = re.sub(r'\n+', ' | ', transcript)
+    
     # 移除文字前後的空白
     transcript = transcript.strip()
     return transcript
 
+# 驗證SRT結構
+def validate_srt(original_srt, modified_srt):
+    """
+    驗證修改後的SRT是否保留了原始SRT的基本結構
+    
+    Args:
+        original_srt: 原始SRT數據
+        modified_srt: 修改後的SRT數據
+        
+    Returns:
+        (bool, str): (是否有效, 錯誤信息)
+    """
+    # 檢查編號完整性
+    if set(original_srt.keys()) != set(modified_srt.keys()):
+        missing = set(original_srt.keys()) - set(modified_srt.keys())
+        extra = set(modified_srt.keys()) - set(original_srt.keys())
+        return False, f"編號不匹配: 缺少 {missing}, 多出 {extra}"
+    
+    # 檢查時間戳保持不變
+    for idx in original_srt:
+        if original_srt[idx]['time'] != modified_srt[idx]['time']:
+            return False, f"編號 {idx} 的時間戳被修改"
+    
+    # 檢查文字長度變化不太大（防止大規模刪減或添加）
+    for idx in original_srt:
+        orig_len = len(original_srt[idx]['text'])
+        mod_len = len(modified_srt[idx]['text'])
+        # 允許30%的文字長度變化
+        if abs(orig_len - mod_len) / max(1, orig_len) > 0.3:
+            return False, f"編號 {idx} 的文字長度變化過大: 原 {orig_len}, 現 {mod_len}"
+    
+    return True, "驗證通過"
+
 def process_files(api_key, test_transcript_file, test_srt_file, batch_size):
     # 1. 配置 Gemini API
     try:
@@ -48,67 +84,122 @@ def process_files(api_key, test_transcript_file, test_srt_file, batch_size):
     if not os.path.exists(test_srt_file):
         return f"錯誤: 找不到口語稿檔案: {test_srt_file}，請確認您已上傳該檔案", None, None
     else:
-        srt_data = parse_srt(test_srt_file)
-        if srt_data is None:
+        original_srt_data = parse_srt(test_srt_file)
+        if original_srt_data is None:
             return "錯誤: 解析口語稿檔案失敗，請確認檔案內容", None, None
     
+    # 創建工作副本
+    srt_data = original_srt_data.copy()
+    
     # 儲存所有報告
     all_reports = []
     keys = list(srt_data.keys()) # 取得編號
 
+    # 使用重疊批次而非固定批次
+    overlap = max(2, batch_size // 4)  # 25% 的重疊
+    
     # 處理每個批次
-    for i in range(0, len(keys), batch_size):
-        batch_keys = keys[i:i + batch_size]
-        batch_data = {key: srt_data[key] for key in batch_keys} # 取得該批次的資料
-        subtitle_content = "\n".join([f"編號{index}:{data['text']}" for index, data in batch_data.items()])
+    for i in range(0, len(keys), batch_size - overlap):
+        end_idx = min(i + batch_size, len(keys))
+        batch_keys = keys[i:end_idx]
+        
+        # 確保前一批次的最後部分有重疊
+        context_start = max(0, i - overlap)
+        context_keys = keys[context_start:i] if i > 0 else []
+        
+        # 準備本批次處理的數據
+        batch_with_context = context_keys + batch_keys
+        context_batch_data = {key: srt_data[key] for key in batch_with_context}
+        
+        # 在提示中標記哪些是實際需要處理的部分(非上下文)
+        subtitle_lines = []
+        for key in batch_with_context:
+            prefix = "處理→ " if key in batch_keys else "上下文: "
+            subtitle_lines.append(f"{prefix}編號{key}:{context_batch_data[key]['text']}")
+        
+        subtitle_content = "\n".join(subtitle_lines)
+        
         prompt = (
-                "請扮演一位專業的文字編輯，比對以下字幕檔和逐字稿，並以逐字稿的內容為準，修正字幕檔中因語音轉文字造成的錯別字、漏字、多字、詞語誤用等問題，請勿修改語氣和修辭，必須嚴格保持原始字幕的時間戳和斷句結構，不要拆分或合併任何段落，不要新增或移除任何字幕段落，直接輸出修正後的字幕檔。\n"
-                "接著，請將**當前批次**所有修改的內容整理成一個修改清單，並放在所有字幕內容之後。\n"
-                "請使用以下格式輸出修改清單： \n"
-                "編號: 原文: 修正後\n"
-                "請使用 `<<<分隔符號>>>` 來分隔字幕與修改清單。\n"
-                 "請按照以下步驟進行：\n"
-                "1. 比對字幕檔和逐字稿。\n"
-                "2. 以逐字稿���內容為準，修正字幕檔中因語音轉文字造成的錯別字、漏字、多字和詞語誤用、以及標點符號漏缺等問題。\n"
-                "3. 必須嚴格保持原始字幕的時間戳和斷句結構，不要拆分或合併任何段落，不要新增或移除任何字幕段落，直接輸出修正後的字幕檔。\n"
-                "4. 讀取整份逐字稿時，請忽略SSML標籤，直接比對文字與標點符號，請勿修改任何語義。\n"
-                 "字幕檔內容：\n"
-                f"{subtitle_content}\n\n"
-                "逐字稿內容：\n"
-                 f"{transcript_content}\n\n"
-               )
+            "請扮演一位專業的文字編輯，比對以下字幕檔和逐字稿，並以逐字稿的內容為準，修正字幕檔中因語音轉文字造成的錯別字、漏字、多字、詞語誤用等問題，請勿修改語氣和修辭。\n"
+            
+            "【重要規則】：\n"
+            "1. 只修正標記有「處理→」的字幕行，標記為「上下文:」的行僅供參考\n"
+            "2. 必須嚴格保持原始字幕的時間戳和斷句結構\n"
+            "3. 不允許合併任何字幕行，每個編號必須獨立輸出\n"
+            "4. 不允許拆分任何字幕行\n"
+            "5. 不要新增或移除任何字幕段落\n"
+            "6. 即使對於很長的字幕行，也必須完整處理，不能忽略任何部分\n"
+            "7. 逐字稿中的 '|' 符號代表可能的段落分隔，請參考但不必完全依照\n"
+            
+            "請使用以下格式輸出每個字幕行：\n"
+            "編號X:修正後的文字\n"
+            
+            "接著，請將**當前批次**所有修改的內容整理成一個修改清單，並放在所有字幕內容之後。\n"
+            "請使用以下格式輸出修改清單： \n"
+            "編號: 原文: 修正後\n"
+            "請使用 `<<<分隔符號>>>` 來分隔字幕與修改清單。\n"
+            
+            "字幕檔內容：\n"
+            f"{subtitle_content}\n\n"
+            "逐字稿內容：\n"
+            f"{transcript_content}\n\n"
+        )
+        
         try:
             response = model.generate_content(prompt)
             corrected_subtitle = response.text
-            print(f"第 {i // batch_size + 1} 批次 Gemini 模型的回應：")
+            print(f"第 {i // (batch_size - overlap) + 1} 批次 Gemini 模型的回應：")
             print(corrected_subtitle)
 
             # 使用 re.split 分割字幕和報告
             parts = re.split(r'<<<分隔符號>>>', corrected_subtitle, maxsplit=1) # 只分割一次
-            corrected_lines = parts[0].split('\n')  # 取得字幕文字
+            
+            # 改進的字幕解析方法
+            corrected_lines = parts[0].strip().split('\n')
+            
+            # 建立一個映射表來追踪已處理的編號
+            processed_indices = set()
+            
+            for line in corrected_lines:
+                # 確保只處理「處理→」標記的編號字幕行
+                match = re.match(r'(?:處理→ )?編號(\d+):(.*)', line)
+                if match:
+                    index = int(match.group(1))
+                    corrected_text = match.group(2).strip()
+                    
+                    # 確保此編號在當前批次中且需要處理
+                    if index in batch_keys:
+                        srt_data[index]['text'] = corrected_text
+                        processed_indices.add(index)
+            
+            # 檢查是否所有批次中的編號都被處理了
+            for index in batch_keys:
+                if index not in processed_indices:
+                    print(f"警告：編號 {index} 在AI處理後丟失，保持原始字幕內容")
+            
+            # 處理報告部分
             report = ""
             if len(parts) > 1:
                 report = parts[1] # 取得修改清單文字
                 report_lines = report.strip().split('\n')
                 all_reports.extend(report_lines)
 
-            for line in corrected_lines:
-                match = re.match(r'編號(\d+):(.*)', line)
-                if match:
-                   index = int(match.group(1))
-                   corrected_text = match.group(2).strip()
-                   srt_data[index]['text'] = corrected_text
         except Exception as e:
-            return f"第 {i // batch_size + 1} 批次修正過程失敗：{e}", None, None
+            return f"第 {i // (batch_size - overlap) + 1} 批次修正過程失敗：{e}", None, None
+    
+    # 驗證修改後的SRT結構
+    is_valid, error_msg = validate_srt(original_srt_data, srt_data)
+    if not is_valid:
+        return f"SRT結構驗證失敗: {error_msg}", None, None
     
     # 寫回 SRT 檔案
     new_subs = []
-    for index, data in srt_data.items():
-       time_str = data['time']
-       start_str, end_str = time_str.split(" --> ")
-       start = pysrt.srtitem.SubRipTime.from_string(start_str)
-       end = pysrt.srtitem.SubRipTime.from_string(end_str)
-       new_subs.append(pysrt.SubRipItem(index=index, start=start, end=end, text=data['text']))
+    for index, data in sorted(srt_data.items()):  # 確保按編號順序排序
+        time_str = data['time']
+        start_str, end_str = time_str.split(" --> ")
+        start = pysrt.srtitem.SubRipTime.from_string(start_str)
+        end = pysrt.srtitem.SubRipTime.from_string(end_str)
+        new_subs.append(pysrt.SubRipItem(index=index, start=start, end=end, text=data['text']))
     
     # 將 new_subs 轉換為 SubRipFile 物件
     new_srt = pysrt.SubRipFile(items=new_subs)