Upload 2 files

spanish_processor.py

@@ -0,0 +1,297 @@
+# english_processor.py
+
+import os
+import re
+import json
+import base64
+import httpx
+import asyncio
+import traceback
+import pandas as pd
+from urllib.parse import urljoin
+import datetime
+import random
+import subprocess
+
+# --- CÁC HÀM TIỆN ÍCH SẼ ĐƯỢC TRUYỀN VÀO TỪ app.py ---
+# Chúng ta sẽ không định nghĩa lại các hàm này ở đây, 
+# mà sẽ nhận chúng dưới dạng tham số để tránh trùng lặp code.
+# Các hàm tiện ích bao gồm:
+# - generate_with_gemini_auto_retry
+# - send_telegram_message
+# - get_random_common_images_from_drive
+# - move_file_on_drive
+# - append_row_to_excel
+# - upload_file_to_drive
+# - _split_sentences
+
+#==============================================================================
+# >>>>> LOGIC XÀO NỘI DUNG SANG TIẾNG ANH <<<<<
+#==============================================================================
+
+
+
+
+async def rewrite_content_with_gemini_en(
+    title: str, 
+    content: str, 
+    generate_with_gemini_auto_retry # Nhận hàm tiện ích làm tham số
+) -> dict | None:
+    """
+    Hàm mới, tách biệt logic để dịch và viết lại nội dung sang Tiếng Anh.
+    """
+    try:
+        sanitized_title = title.replace('"', '\\"')
+        sanitized_content = content.replace('"', '\\"')
+        current_date = datetime.datetime.now().strftime("%m/%d")
+   
+        prompt = (
+            f"Eres un editor de noticias profesional para canales de YouTube y TikTok dirigidos a una audiencia de habla HISPANA.\n"
+            f"Basado en el artículo original en vietnamita, crea el contenido requerido en ESPAÑOL. "
+            f"SIEMPRE elimina las citas de fuentes como 'según Dan Tri', 'fuentes dijeron'.\n\n"
+            f"--- REQUISITOS ---\n"
+            f"1.  **youtube_title:** Un título principal pegadizo y sensacional para YouTube/TikTok. Comienza con 'Noticias del Mundo {current_date}:'. **IMPORTANTE: Debe tener menos de 100 caracteres.**\n"
+            f"2.  **image_title:** Un título muy corto y potente (5-9 palabras) para la superposición de la imagen.\n"
+            f"3.  **youtube_description:** Un resumen corto y profesional (2-3 frases) para la publicación de YouTube con una llamada a la acción.\n"
+            f"4.  **tts_script:** Un objeto JSON que contenga exactamente 3 claves para el guion de la voz en off:\n"
+            f"    - **intro:** Una única frase de bienvenida. Ejemplo: 'Bienvenidos a su actualización de noticias mundiales.'\n"
+            f"    - **main_content:** El contenido principal de la noticia, reescrito a partir del artículo original. **Limitar a menos de 300 palabras. NO DEBE contener frases de introducción o cierre.**\n"
+            f"    - **outro:** Una única frase de cierre. Ejemplo: 'Gracias por sintonizarnos.'\n\n"
+            f"--- ARTÍCULO ORIGINAL EN VIETNAMITA ---\n"
+            f"**Original Title:** {sanitized_title}\n"
+            f"**Original Content:** {sanitized_content}\n\n"
+            f"--- FORMATO DE SALIDA JSON (DEVOLVER SOLO EL JSON) ---\n"
+            f'{{"youtube_title": "[Contenido para el Título de YouTube]", "image_title": "[Contenido para el Título de la Imagen]", "youtube_description": "[Contenido para la Descripción de YouTube]", "tts_script": {{"intro": "[Frase única de bienvenida]", "main_content": "[Contenido principal de la noticia]", "outro": "[Frase única de cierre]"}}}}'
+        )
+
+
+        response = await generate_with_gemini_auto_retry(prompt)
+        cleaned_response_text = response.text.strip().replace("```json", "").replace("```", "").strip()
+        
+        json_match = re.search(r'\{.*\}', cleaned_response_text, re.DOTALL)
+        if json_match:
+            return json.loads(json_match.group(0))
+        
+        print("❌ English Rewrite Error: Gemini did not return valid JSON.")
+        print("   Raw response:", response.text)
+        return None
+        
+    except Exception as e:
+        print(f"❌ Error during English content rewrite: {e}")
+        return None
+
+#==============================================================================
+# >>>>> LOGIC TẠO ÂM THANH TIẾNG ANH <<<<<
+#==============================================================================
+
+async def convert_text_to_mp3_en(
+    text_or_script: str | dict, 
+    chat_id: int, 
+    gemini_api_keys: list, 
+    temp_path: str,
+    mp3_save_path: str,
+    send_telegram_message,
+    _split_sentences
+) -> tuple[str | None, str | None]:
+    """
+    [PHIÊN BẢN ĐỒNG BỘ 1:1 VỚI BẢN TIẾNG VIỆT]
+    Tạo file âm thanh Tiếng Anh, sử dụng logic và endpoint TTS mới nhất.
+    """
+    async def send_error_log(base_message: str):
+        error_traceback = traceback.format_exc()
+        detailed_error_message = (f"❌ **Lỗi tạo Audio (SPAIN)**\n\n{base_message}\n\n{error_traceback}")
+        await send_telegram_message(chat_id, detailed_error_message[-4000:])
+
+    if not gemini_api_keys: return None, "Config Error: Gemini API key list is empty (SPAIN)."
+
+    full_text = ""
+    if isinstance(text_or_script, dict):
+        # Lấy đối tượng tts_script nếu có
+        tts_script = text_or_script.get('tts_script', {}) if 'tts_script' in text_or_script else text_or_script
+        intro = tts_script.get('intro', '').strip()
+        main_content = tts_script.get('main_content', '').strip()
+        outro = tts_script.get('outro', '').strip()
+        full_text = ' '.join(filter(None, [intro, main_content, outro]))
+    else:
+        full_text = text_or_script
+
+    sentences = _split_sentences(full_text)
+    if not sentences: return None, "Content Error: Input text contains no valid sentences (SPAIN)."
+
+    temp_wav_files, last_api_error = [], "No specific API error."
+    base_delay, max_delay, max_retries_per_sentence = 2, 60, len(gemini_api_keys) * 2
+    
+    for i, sentence in enumerate(sentences):
+        start_index, attempts, success = random.randint(0, len(gemini_api_keys) - 1), 0, False
+        current_index = start_index
+
+        while attempts < max_retries_per_sentence:
+            styled_text = f"{sentence}"
+            api_key = gemini_api_keys[current_index]
+            url = f"https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-flash-preview-tts:generateContent?key={api_key}"
+            payload = { "model": "gemini-2.5-flash-preview-tts", "contents": [{"parts": [{"text": styled_text}]}], "generationConfig": { "responseModalities": ["AUDIO"], "speechConfig": { "voiceConfig": { "prebuiltVoiceConfig": { "voiceName": "Alnilam" }}}}}
+            
+            try:
+                async with httpx.AsyncClient(timeout=60.0) as client:
+                    response = await client.post(url, json=payload)
+                    response.raise_for_status()
+                
+                audio_content = response.json().get("candidates", [{}])[0].get("content", {}).get("parts", [{}])[0].get("inlineData", {}).get("data")
+                if audio_content:
+                    audio_bytes = base64.b64decode(audio_content)
+                    temp_raw_path = os.path.join(temp_path, f"part_{i}_en.raw")
+                    with open(temp_raw_path, "wb") as f: f.write(audio_bytes)
+                    
+                    temp_wav_path = os.path.join(temp_path, f"part_{i}_en.wav")
+                    ffmpeg_pcm_to_wav = ['ffmpeg', '-y', '-f', 's16le', '-ar', '24000', '-ac', '1', '-i', temp_raw_path, temp_wav_path]
+                    process = await asyncio.create_subprocess_exec(*ffmpeg_pcm_to_wav, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
+                    await process.communicate()
+                    if process.returncode != 0: raise ValueError("FFmpeg failed to convert raw PCM to WAV.")
+                    
+                    temp_wav_files.append(temp_wav_path)
+                    os.remove(temp_raw_path)
+                    success = True
+                    break
+                else:
+                    raise ValueError("API response did not contain audio data (SPAIN).")
+            except httpx.HTTPStatusError as e:
+                last_api_error = str(e); await asyncio.sleep(1)
+            except Exception as e:
+                last_api_error = str(e); await asyncio.sleep(1)
+            
+            current_index = (current_index + 1) % len(gemini_api_keys)
+            attempts += 1
+
+        if not success:
+            error_msg = f"All API keys failed for sentence {i+1} (SPAIN). Last error: {last_api_error}"
+            await send_error_log(error_msg)
+            return None, error_msg
+
+    if not temp_wav_files: return None, "No temporary audio files were created (SPAIN)."
+
+    try:
+        final_wav_path = os.path.join(mp3_save_path, f"autogen_en_{datetime.datetime.now().strftime('%Y%m%d%H%M%S')}.wav")
+        concat_list_path = os.path.join(temp_path, "concat_en.txt")
+        silence_wav_path = os.path.join(temp_path, "silence.wav")
+        
+        if not os.path.exists(silence_wav_path):
+            ffmpeg_create_silence = ['ffmpeg', '-y', '-f', 'lavfi', '-i', 'anullsrc=r=24000:cl=mono', '-t', '0.1', silence_wav_path]
+            process = await asyncio.create_subprocess_exec(*ffmpeg_create_silence, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
+            if (await process.wait()) != 0: raise ValueError("Could not create silence file.")
+            
+        with open(concat_list_path, "w") as f:
+            for i, wav_file in enumerate(temp_wav_files):
+                f.write(f"file '{os.path.abspath(wav_file)}'\n")
+                if i < len(temp_wav_files) - 1:
+                    f.write(f"file '{os.path.abspath(silence_wav_path)}'\n")
+                    
+        ffmpeg_cmd = ['ffmpeg', '-y', '-f', 'concat', '-safe', '0', '-i', concat_list_path, '-c', 'copy', final_wav_path]
+        process = await asyncio.create_subprocess_exec(*ffmpeg_cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
+        _, stderr = await process.communicate()
+        if process.returncode != 0:
+            raise subprocess.CalledProcessError(process.returncode, ffmpeg_cmd, stderr=stderr)
+            
+        return final_wav_path, None
+    except Exception as e:
+        error_detail = f"FFMPEG error during concatenation (EN): {e}"
+        await send_error_log(error_detail)
+        return None, error_detail
+    finally:
+        # Dọn dẹp tất cả các file tạm
+        files_to_clean_after_concat = temp_wav_files + [concat_list_path]
+        for f in files_to_clean_after_concat:
+            if os.path.exists(f): os.remove(f)
+
+#==============================================================================
+# >>>>> HÀM ORCHESTRATOR CHÍNH CHO TIẾNG ANH <<<<<
+#==============================================================================
+
+async def auto_process_and_save_article_en(
+    # Các service và dữ liệu cần thiết từ app.py
+    drive_service, 
+    article: dict, 
+    category_name: str, 
+    chat_id: int, 
+    
+    # Các đường dẫn và cấu hình
+    working_excel_path: str,
+    common_image_folder_id: str,
+    processed_image_folder_id: str,
+    rewritten_data: dict, # <-- THÊM THAM SỐ MỚI
+    drive_excel_file_id: str, # <<< THÊM THAM SỐ MỚI VÀO ĐÂY
+    # Các hàm tiện ích
+    send_telegram_message,
+    get_random_common_images_from_drive,
+    move_file_on_drive,
+    append_row_to_excel,
+    upload_file_to_drive
+):
+    """
+    Hàm chính điều phối toàn bộ quy trình xử lý và lưu trữ cho một bài báo Tiếng Anh.
+    """
+    await send_telegram_message(chat_id, f"🇬🇧 Đang xử lý Tiếng Anh cho: *{article['title'][:50]}...*")
+    common_image_files_info = []
+    try:
+        # 1. Dùng Gemini để dịch và viết lại nội dung
+        #rewritten_data = await rewrite_content_with_gemini(article['title'], article['content'])
+        if not rewritten_data: raise ValueError("Rewrite content failed (EN)")
+        
+        # <<< THÊM LOGIC MỚI: Ghép các phần của kịch bản thành một chuỗi duy nhất >>>
+        tts_script = rewritten_data.get('tts_script', {})
+        full_tts_content = ' '.join(filter(None, [
+            tts_script.get('intro', ''),
+            tts_script.get('main_content', ''),
+            tts_script.get('outro', '')
+        ])).strip()
+
+        # 2. Lấy 3 ảnh ngẫu nhiên từ thư mục common Tiếng Anh
+        if not common_image_folder_id: raise ValueError(f"Image folder for '{category_name}' not configured (EN)")
+        common_image_files_info = await get_random_common_images_from_drive(drive_service, common_image_folder_id, chat_id, count=3)
+        if not common_image_files_info: raise ValueError("Failed to get common images (EN)")
+        
+        # 3. Di chuyển ảnh đã chọn sang thư mục đã xử lý
+        image_links, image_ids = ["", "", ""], ["", "", ""]
+        for i, (original_id, local_path) in enumerate(common_image_files_info):
+            moved_file_info = await move_file_on_drive(drive_service, original_id, processed_image_folder_id)
+            if moved_file_info:
+                image_links[i], image_ids[i] = moved_file_info['link'], moved_file_info['id']
+        
+        if not image_links[0]: raise ValueError("Failed to move common images (EN)")
+
+        # 4. Tìm tài khoản YouTube tương ứng trong file Excel
+        df_acc = pd.read_excel(working_excel_path, sheet_name='AccDanTri', header=None)
+        account_key = f"{category_name}_EN" # Key để tìm tài khoản, ví dụ: "Giáo Dục_EN"
+        account_row = df_acc[df_acc.iloc[:, 0] == account_key]
+        if account_row.empty: raise ValueError(f"YouTube account '{account_key}' not found in AccDanTri sheet")
+        account_pickle = account_row.iloc[0, 1]
+        
+        # 5. Chuẩn bị và ghi dữ liệu vào file Excel
+        final_data_row = [
+            account_key,
+            rewritten_data.get('youtube_title'), rewritten_data.get('image_title'),
+            rewritten_data.get('youtube_description'), 
+            full_tts_content, # <<< SỬ DỤNG BIẾN MỚI ĐÃ ĐƯỢC GHÉP
+            article['publish_time'], 
+            image_links[0], image_ids[0], 
+            image_links[1], image_ids[1],
+            image_links[2], image_ids[2], 
+            account_pickle, "NYS", "", "", "", ""
+        ]
+        await append_row_to_excel(working_excel_path, "DanTri", final_data_row)
+        
+        # 6. Tải file Excel đã cập nhật lên Google Drive
+        await upload_file_to_drive(drive_service, working_excel_path, drive_excel_file_id)
+    
+    except Exception as e:
+        # Báo lỗi chi tiết nếu có vấn đề
+        await send_telegram_message(chat_id, f"⚠️ (Auto EN) Error: {e}\n{traceback.format_exc()[-1000:]}")
+    
+    finally:
+        # Dọn dẹp các file ảnh tạm đã tải về
+        if common_image_files_info:
+            for _, f_path in common_image_files_info:
+                if f_path and os.path.exists(f_path): 
+                    try:
+                        os.remove(f_path)
+                    except OSError:
+                        pass