Fix Telegram parsing via jina fallback

app.py

@@ -13,31 +13,25 @@ from fastapi import FastAPI
 from fastapi.middleware.cors import CORSMiddleware
 from pydantic import BaseModel
 
-try:
-    from telethon import TelegramClient
-    from telethon.sessions import StringSession
-except Exception:
-    TelegramClient = None
-    StringSession = None
-
 APP_NAME = "pr-tool-backend"
 
 VK_API_VERSION = os.getenv("VK_API_VERSION", "5.131")
 VK_ACCESS_TOKEN = os.getenv("VK_ACCESS_TOKEN", "")
-TELEGRAM_API_ID = int(os.getenv("TELEGRAM_API_ID", "0") or "0")
-TELEGRAM_API_HASH = os.getenv("TELEGRAM_API_HASH", "")
-TELEGRAM_STRING_SESSION = os.getenv("TELEGRAM_STRING_SESSION", "")
 
 # --- Таймауты и параллелизм (всё настраивается через переменные окружения) ---
 # Таймаут одного HTTP-запроса задаём кортежем (connect, read), чтобы зависший
 # коннект не съедал всё время.
-# С датацентр-IP (Hugging Face) Telegram троттлит соединения, поэтому держим
-# щедрый connect-таймаут и не задираем параллелизм — иначе массовые таймауты.
+# С датацентр-IP (Hugging Face) Telegram блокирует/глушит прямые запросы к t.me,
+# поэтому основной путь — прокси r.jina.ai (см. process_telegram_link). Прямой
+# t.me остаётся резервом и потому держится «fail-fast».
 # max(..., floor) — защита от слишком маленьких значений в env (например,
 # случайно выставленного TELEGRAM_OP_TIMEOUT=3.05), которые рвут TG-запросы.
-_TG_CONNECT_TIMEOUT = max(float(os.getenv("TELEGRAM_CONNECT_TIMEOUT", "10")), 8.0)
-_TG_READ_TIMEOUT = max(float(os.getenv("TELEGRAM_OP_TIMEOUT", "15")), 10.0)
+_TG_CONNECT_TIMEOUT = max(float(os.getenv("TELEGRAM_CONNECT_TIMEOUT", "8")), 4.0)
+_TG_READ_TIMEOUT = max(float(os.getenv("TELEGRAM_OP_TIMEOUT", "8")), 5.0)
 TG_HTTP_TIMEOUT = (_TG_CONNECT_TIMEOUT, _TG_READ_TIMEOUT)
+# Прокси ходит к Telegram со своей стороны — даём ему больше времени.
+_TG_PROXY_TIMEOUT = max(float(os.getenv("TELEGRAM_PROXY_TIMEOUT", "25")), 10.0)
+TG_PROXY_HTTP_TIMEOUT = (10.0, _TG_PROXY_TIMEOUT)
 _MAX_CONNECT_TIMEOUT = max(float(os.getenv("MAX_CONNECT_TIMEOUT", "10")), 8.0)
 _MAX_READ_TIMEOUT = max(float(os.getenv("MAX_OP_TIMEOUT", "12")), 8.0)
 MAX_HTTP_TIMEOUT = (_MAX_CONNECT_TIMEOUT, _MAX_READ_TIMEOUT)
@@ -50,9 +44,16 @@ VK_MAX_RETRIES = int(os.getenv("VK_MAX_RETRIES", "5"))
 VK_RETRY_DELAY = float(os.getenv("VK_RETRY_DELAY", "0.45"))
 VK_BATCH_SIZE = int(os.getenv("VK_BATCH_SIZE", "100"))
 
-# Сторонний прокси r.jina.ai заметно медленнее прямого запроса к t.me.
-# По умолчанию выключен — включается только при ENABLE_JINA_FALLBACK=1.
-ENABLE_JINA_FALLBACK = os.getenv("ENABLE_JINA_FALLBACK", "0") == "1"
+# Прокси r.jina.ai — основной путь для Telegram на HF (прямой t.me заблокирован).
+# Включён по умолчанию; можно отключить через ENABLE_JINA_FALLBACK=0.
+# X-Return-Format: html заставляет jina вернуть СЫРОЙ HTML виджета t.me
+# (с tgme_widget_message_views и owner_name), который и парсит наш код.
+ENABLE_JINA_FALLBACK = os.getenv("ENABLE_JINA_FALLBACK", "1") != "0"
+_JINA_HEADERS = {"X-Return-Format": "html"}
+_JINA_API_KEY = os.getenv("JINA_API_KEY", "").strip()
+if _JINA_API_KEY:
+    # Ключ снимает строгие лимиты бесплатного тарифа r.jina.ai.
+    _JINA_HEADERS["Authorization"] = f"Bearer {_JINA_API_KEY}"
 
 # Общий бюджет времени на весь запрос. По истечении возвращаем то, что успели
 # обработать, а остальное помечаем как «превышено время» — вместо того, чтобы
@@ -217,35 +218,46 @@ def canonicalize_max_link(link: str) -> Tuple[Optional[str], Optional[str], Opti
     return canonical, slug, post_id
 
 
-def _telethon_ready() -> bool:
-    return bool(
-        TelegramClient
-        and StringSession
-        and TELEGRAM_API_ID
-        and TELEGRAM_API_HASH
-        and TELEGRAM_STRING_SESSION
-    )
-
-
 # ---------- Обработчики одной ссылки ----------
 
 def process_telegram_link(channel_username: str, message_id: str, canonical_link: str) -> Tuple[str, int]:
-    primary_urls = [
-        f"https://t.me/{channel_username}/{message_id}?embed=1",
-        f"https://t.me/s/{channel_username}/{message_id}",
-    ]
-    fallback_urls = []
+    urls = []
     if ENABLE_JINA_FALLBACK:
-        fallback_urls = [
-            f"https://r.jina.ai/https://t.me/{channel_username}/{message_id}?embed=1",
-        ]
+        urls.extend([
+            (
+                f"https://r.jina.ai/https://t.me/{channel_username}/{message_id}?embed=1",
+                _JINA_HEADERS,
+                TG_PROXY_HTTP_TIMEOUT,
+            ),
+            (
+                f"https://r.jina.ai/http://t.me/{channel_username}/{message_id}?embed=1",
+                _JINA_HEADERS,
+                TG_PROXY_HTTP_TIMEOUT,
+            ),
+            (
+                f"https://r.jina.ai/http://t.me/s/{channel_username}/{message_id}",
+                _JINA_HEADERS,
+                TG_PROXY_HTTP_TIMEOUT,
+            ),
+            (
+                f"https://r.jina.ai/http://telegram.me/{channel_username}/{message_id}?embed=1",
+                _JINA_HEADERS,
+                TG_PROXY_HTTP_TIMEOUT,
+            ),
+        ])
+
+    urls.extend([
+        (f"https://t.me/{channel_username}/{message_id}?embed=1", None, TG_HTTP_TIMEOUT),
+        (f"https://t.me/s/{channel_username}/{message_id}", None, TG_HTTP_TIMEOUT),
+        (f"https://telegram.me/{channel_username}/{message_id}?embed=1", None, TG_HTTP_TIMEOUT),
+    ])
 
     session = _get_session()
     page_html = None
     last_err: Optional[Exception] = None
-    for url in primary_urls + fallback_urls:
+    for url, headers, timeout in urls:
         try:
-            resp = session.get(url, timeout=TG_HTTP_TIMEOUT)
+            resp = session.get(url, headers=headers, timeout=timeout)
             if resp.status_code == 200 and resp.text:
                 page_html = resp.text
                 break

requirements.txt

@@ -2,4 +2,3 @@ fastapi==0.110.0
 uvicorn[standard]==0.27.1
 requests==2.31.0
 pydantic==2.6.1
-telethon==1.36.0