app.py

app.py

@@ -0,0 +1,646 @@
+
+
+import gradio as gr
+import pandas as pd
+from urllib.parse import urlparse
+import time
+import requests
+from io import BytesIO
+import json
+import seaborn as sns
+import matplotlib.pyplot as plt
+
+# Try to import Plotly, install if missing, fallback gracefully
+try:
+    import plotly.express as px
+    import plotly.graph_objects as go
+    PLOTLY_AVAILABLE = True
+    print("✅ Plotly successfully imported")
+except ImportError:
+    print("⚠️ Plotly not found, attempting to install...")
+    try:
+        import subprocess
+        import sys
+        subprocess.check_call([sys.executable, "-m", "pip", "install", "plotly", "--quiet"])
+        import plotly.express as px
+        import plotly.graph_objects as go
+        PLOTLY_AVAILABLE = True
+        print("✅ Plotly installed and imported successfully")
+    except Exception as e:
+        print(f"❌ Failed to install Plotly: {e}")
+        print("📊 Charts will be disabled, but app will work normally")
+        PLOTLY_AVAILABLE = False
+
+# ===================== URL Validation =====================
+def is_instagram_url(url: str) -> bool:
+    """Validate if URL is a proper Instagram URL"""
+    try:
+        url = url.strip()
+        if not url:
+            return False
+        
+        # Add https if missing
+        if not url.startswith(('http://', 'https://')):
+            url = 'https://' + url
+            
+        parsed = urlparse(url)
+        domain = parsed.netloc.lower()
+        
+        # Check if it's Instagram domain
+        if 'instagram.com' not in domain:
+            return False
+            
+        # Check if it has a valid path (not just homepage)
+        if not parsed.path or parsed.path in ['/', '']:
+            return False
+            
+        return True
+    except Exception as e:
+        print(f"URL validation error: {e}")
+        return False
+
+def check_url_accessible(url: str, timeout: int = 5) -> bool:
+    """Lenient check for public reachability of the URL (Instagram often blocks bots)."""
+    try:
+        if not url.startswith(('http://', 'https://')):
+            url = 'https://' + url
+
+        headers = {
+            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
+                          '(KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
+            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
+            'Accept-Language': 'en-US,en;q=0.5',
+            'Connection': 'keep-alive',
+        }
+
+        response = requests.head(url, allow_redirects=True, timeout=timeout, headers=headers)
+        print(f"URL check response: {response.status_code}")
+
+        return response.status_code in (200, 301, 302, 403, 429) or response.status_code < 500
+
+    except requests.exceptions.Timeout:
+        print("URL check timed out - assuming URL is valid")
+        return True
+    except requests.exceptions.ConnectionError:
+        print("Connection error during URL check - assuming URL is valid")
+        return True
+    except Exception as e:
+        print(f"URL accessibility check failed: {e}")
+        return True
+
+def test_file_generation():
+    """Test function to generate sample files with fake comments."""
+    try:
+        sample_data = pd.DataFrame({
+            'Пользователь': ['user1', 'user2', 'user3'],
+            'Комментарий': ['Тест 1', 'Тест 2', 'Тест 3'],
+            'Дата': ['2025-09-20', '2025-09-20', '2025-09-20'],
+            'Тональность': ['позитивный', 'нейтральный', 'негативный'],
+            'Категория': ['вопрос', 'отзыв', 'жалоба'],
+            'Модерация': ['безопасно', 'безопасно', 'безопасно'],
+            'Автоответ': ['Ответ 1', 'Ответ 2', 'Ответ 3']
+        })
+
+        categories = sample_data['Категория'].value_counts()
+        sentiments = sample_data['Тональность'].value_counts()
+
+        files = create_report_files(sample_data, categories, sentiments)
+
+        if files:
+            return f"✅ Тестовые файлы созданы: {len(files)} файлов", files
+        else:
+            return "❌ Ошибка создания тестовых файлов", []
+    except Exception as e:
+        return f"❌ Ошибка тестирования: {str(e)}", []
+
+# ===================== Charts with Plotly =====================
+def make_charts(categories: pd.Series, sentiments: pd.Series):
+    """Create visualization charts with Seaborn"""
+    try:
+        # Category pie chart (Matplotlib only, since Seaborn doesn’t have native pie)
+        fig_cat, ax_cat = plt.subplots()
+        if not categories.empty:
+            ax_cat.pie(
+                categories.values,
+                labels=categories.index,
+                autopct='%1.1f%%',
+                startangle=140,
+                colors=sns.color_palette("Set3", len(categories))
+            )
+            ax_cat.set_title("Распределение по категориям", color="#E6007E")
+        else:
+            ax_cat.text(0.5, 0.5, "Нет данных для отображения",
+                        ha="center", va="center")
+        
+        # Sentiment bar chart
+        fig_sent, ax_sent = plt.subplots()
+        if not sentiments.empty:
+            sns.barplot(
+                x=sentiments.index,
+                y=sentiments.values,
+                palette={
+                    'позитивный': '#28a745',
+                    'негативный': '#dc3545',
+                    'нейтральный': '#6c757d',
+                    'positive': '#28a745',
+                    'negative': '#dc3545',
+                    'neutral': '#6c757d'
+                },
+                ax=ax_sent
+            )
+            ax_sent.set_title("Распределение по тональности", color="#E6007E")
+            ax_sent.set_ylabel("Количество")
+            ax_sent.set_xlabel("Тональность")
+        else:
+            ax_sent.text(0.5, 0.5, "Нет данных для отображения",
+                         ha="center", va="center")
+        
+        return fig_cat, fig_sent
+    except Exception as e:
+        print(f"Chart creation error: {e}")
+        return None, None
+
+# ===================== File Generation =====================
+def create_report_files(df: pd.DataFrame, categories: pd.Series, sentiments: pd.Series):
+    """Create CSV and Excel report files (robust & portable)"""
+    import os
+    import tempfile
+
+    # Ensure non-empty frame for saving
+    if df is None or df.empty:
+        df = pd.DataFrame({"Сообщение": ["Нет данных для отображения"]})
+
+    # Create stable temp files that persist after write
+    csv_tmp = tempfile.NamedTemporaryFile(delete=False, suffix=".csv")
+    csv_tmp.close()
+    xlsx_tmp = tempfile.NamedTemporaryFile(delete=False, suffix=".xlsx")
+    xlsx_tmp.close()
+
+    csv_path = csv_tmp.name
+    xlsx_path = xlsx_tmp.name
+
+    # Save CSV (UTF-8 with BOM so Excel opens Cyrillic cleanly)
+    df.to_csv(csv_path, index=False, encoding="utf-8-sig")
+
+    # Excel writer: try openpyxl, fall back to xlsxwriter, fall back to very simple save
+    summary_rows = {
+        'Метрика': [
+            'Всего комментариев',
+            'Уникальных пользователей',
+            'Уникальных категорий',
+            'Уникальных тональностей'
+        ],
+        'Значение': [
+            int(len(df)),
+            int(df["Пользователь"].nunique()) if "Пользователь" in df.columns else 0,
+            int(len(categories)) if isinstance(categories, pd.Series) and not categories.empty else 0,
+            int(len(sentiments)) if isinstance(sentiments, pd.Series) and not sentiments.empty else 0,
+        ]
+    }
+    try:
+        try:
+            with pd.ExcelWriter(xlsx_path, engine="openpyxl") as writer:
+                df.to_excel(writer, sheet_name="Комментарии", index=False)
+                pd.DataFrame(summary_rows).to_excel(writer, sheet_name="Сводка", index=False)
+
+                if isinstance(categories, pd.Series) and not categories.empty:
+                    cat_df = categories.reset_index()
+                    cat_df.columns = ['Категория', 'Количество']
+                    cat_df.to_excel(writer, sheet_name="Категории", index=False)
+
+                if isinstance(sentiments, pd.Series) and not sentiments.empty:
+                    sen_df = sentiments.reset_index()
+                    sen_df.columns = ['Тональность', 'Количество']
+                    sen_df.to_excel(writer, sheet_name="Тональности", index=False)
+        except Exception:
+            with pd.ExcelWriter(xlsx_path, engine="xlsxwriter") as writer:
+                df.to_excel(writer, sheet_name="Комментарии", index=False)
+                pd.DataFrame(summary_rows).to_excel(writer, sheet_name="Сводка", index=False)
+    except Exception:
+        # As a very last resort, at least save the main sheet
+        df.to_excel(xlsx_path, index=False)
+
+    files_to_return = [p for p in (csv_path, xlsx_path) if os.path.exists(p) and os.path.getsize(p) > 0]
+    return files_to_return
+
+# ===================== Main Processing Function =====================
+def process_instagram_url(url: str):
+    """Main function to process Instagram URL and return analysis results"""
+    
+    # Initialize empty dataframes for consistent return structure
+    empty_df = pd.DataFrame(columns=["Пользователь", "Комментарий", "Дата", "Тональность", "Категория", "Модерация", "Автоответ"])
+    empty_moderation = pd.DataFrame(columns=["Пользователь", "Комментарий", "Мод��рация"])
+    empty_answers = pd.DataFrame(columns=["Пользователь", "Комментарий", "Автоответ"])
+    
+    # Validate URL
+    if not url or not url.strip():
+        return (
+            "❌ Пожалуйста, введите Instagram URL",
+            empty_df, empty_moderation, empty_answers,
+            "Введите валидную Instagram ссылку для начала анализа.",
+            None, None, []
+        )
+    
+    if not is_instagram_url(url):
+        return (
+            "❌ Это не валидная Instagram ссылка. Пожалуйста, введите корректную ссылку.",
+            empty_df, empty_moderation, empty_answers,
+            "Неверный формат ссылки Instagram.",
+            None, None, []
+        )
+    
+    # Check URL accessibility (but don't fail if check fails)
+    print(f"Checking URL accessibility: {url}")
+    url_accessible = check_url_accessible(url)
+    if not url_accessible:
+        print(f"⚠️ URL accessibility check failed, but continuing anyway...")
+        # Don't return error here - Instagram often blocks automated checks
+        # but the API might still work
+    
+    # Send request to webhook
+    try:
+        webhook_url = "https://azamat-m.app.n8n.cloud/webhook/instagram"
+        payload = {"urls": [url.strip()]}
+        headers = {
+            "Content-Type": "application/json",
+            "User-Agent": "InstagramAnalyzer/1.0"
+        }
+        
+        print(f"Sending request to webhook: {payload}")
+        response = requests.post(webhook_url, json=payload, headers=headers, timeout=200)  # Increased timeout to 200 seconds
+        print(f"Webhook response status: {response.status_code}")
+        print(f"Response headers: {dict(response.headers)}")
+        
+        # Log first 200 chars of response for debugging
+        if hasattr(response, 'text'):
+            print(f"Response preview: {response.text[:200]}...")
+        
+    except requests.exceptions.Timeout:
+        return (
+            "❌ Превышено время ожидания ответа от сервера (200 сек). Попробуйте позже.",
+            empty_df, empty_moderation, empty_answers,
+            "Тайм-аут запроса к серверу.",
+            None, None, []
+        )
+    except requests.exceptions.ConnectionError:
+        return (
+            "❌ Ошибка подключения к серверу анализа. Проверьте интернет-соединение.",
+            empty_df, empty_moderation, empty_answers,
+            "Ошибка подключения к серверу.",
+            None, None, []
+        )
+    except Exception as e:
+        return (
+            f"❌ Ошибка при отправке запроса: {str(e)}",
+            empty_df, empty_moderation, empty_answers,
+            f"Ошибка запроса: {str(e)}",
+            None, None, []
+        )
+    
+    # Check response status
+    if response.status_code != 200:
+        return (
+            f"⚠️ Сервер вернул код ошибки {response.status_code}. Попробуйте позже.",
+            empty_df, empty_moderation, empty_answers,
+            f"Ошибка сервера: HTTP {response.status_code}",
+            None, None, []
+        )
+    
+    # Parse response
+    try:
+        data = response.json()
+        print(f"Received data type: {type(data)}, length: {len(data) if isinstance(data, list) else 'N/A'}")
+    except json.JSONDecodeError as e:
+        return (
+            "❌ Сервер вернул некорректный ответ. Попробуйте позже.",
+            empty_df, empty_moderation, empty_answers,
+            f"Ошибка парсинга ответа: {str(e)}",
+            None, None, []
+        )
+    
+    # Validate data format
+    if not isinstance(data, list) or len(data) == 0:
+        return (
+            "✅ Запрос выполнен успешно, но комментарии не найдены.",
+            empty_df, empty_moderation, empty_answers,
+            "Комментарии не найдены. Возможно, пост не содержит комментариев или они скрыты.",
+            None, None, []
+        )
+    
+    # Process data
+    try:
+        processed_rows = []
+        for item in data:
+            # Extract all available fields
+            user = item.get("user", "")
+            comment = item.get("comment", item.get("chatInput", ""))
+            created_at = item.get("created_at", "")
+            sentiment = item.get("sentiment", "neutral")
+            category = item.get("category", "общее")
+            harmful = item.get("harmful_content", "none")
+            auto_answer = item.get("output", "")
+            
+            # Format creation date if available
+            formatted_date = ""
+            if created_at:
+                try:
+                    from datetime import datetime
+                    dt = datetime.fromisoformat(created_at.replace('Z', '+00:00'))
+                    formatted_date = dt.strftime("%Y-%m-%d %H:%M")
+                except:
+                    formatted_date = created_at
+            
+            # Translate sentiment values to Russian if needed
+            sentiment_mapping = {
+                "positive": "позитивный",
+                "negative": "негативный", 
+                "neutral": "нейтральный"
+            }
+            sentiment_ru = sentiment_mapping.get(sentiment.lower(), sentiment)
+            
+            # Translate category values to Russian if needed
+            category_mapping = {
+                "question": "вопрос",
+                "complaint": "жалоба",
+                "review": "отзыв",
+                "general": "общее"
+            }
+            category_ru = category_mapping.get(category.lower(), category)
+            
+            # Translate harmful_content values
+            moderation_mapping = {
+                "none": "безопасно",
+                "toxic": "токсичный",
+                "spam": "спам"
+            }
+            moderation_ru = moderation_mapping.get(harmful.lower(), harmful)
+            
+            processed_rows.append({
+                "Пользователь": user,
+                "Комментарий": comment,
+                "Дата": formatted_date,
+                "Тональность": sentiment_ru,
+                "Категория": category_ru,
+                "Модерация": moderation_ru,
+                "Автоответ": auto_answer
+            })
+        
+        # Create dataframes
+        df_all = pd.DataFrame(processed_rows)
+        df_moderation = df_all[["Пользователь", "Комментарий", "Модерация"]].copy()
+        df_answers = df_all[["Пользователь", "Комментарий", "Автоответ"]].copy()
+        
+        # Calculate statistics
+        total_comments = len(df_all)
+        unique_users = df_all["Пользователь"].nunique() if "Пользователь" in df_all.columns else 0
+        categories = df_all["Категория"].value_counts()
+        sentiments = df_all["Тональность"].value_counts()
+        
+        # Create statistics markdown
+        stats_text = f"""
+**📊 Общая статистика:**
+- **Всего комментариев:** {total_comments}
+- **Уникальных пользователей:** {unique_users}
+
+**📂 По категориям:**
+{chr(10).join([f'- **{category}:** {count}' for category, count in categories.items()])}
+
+**💭 По тональности:**
+{chr(10).join([f'- **{sentiment}:** {count}' for sentiment, count in sentiments.items()])}
+        """.strip()
+        
+        # Create charts
+        fig_categories, fig_sentiments = make_charts(categories, sentiments)
+        
+        # Create report files
+        print("Creating report files...")
+        report_files = create_report_files(df_all, categories, sentiments)
+        print(f"Report files created: {report_files}")
+        
+        success_message = f"✅ Успешно обработано {total_comments} комментариев от {unique_users} пользователей!"
+        
+        return (
+            success_message,
+            df_all,
+            df_moderation,
+            df_answers,
+            stats_text,
+            fig_categories,
+            fig_sentiments,
+            report_files
+        )
+        
+    except Exception as e:
+        print(f"Data processing error: {e}")
+        return (
+            f"❌ Ошибка при обработке данных: {str(e)}",
+            empty_df, empty_moderation, empty_answers,
+            f"Ошибка обработки: {str(e)}",
+            None, None, []
+        )
+
+# ===================== Custom CSS =====================
+custom_css = """
+/* Altel brand colors and styling */
+.gradio-container {
+    font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
+    max-width: 1200px;
+    margin: 0 auto;
+}
+
+/* Headers and titles */
+.gradio-container h1, .gradio-container h2, .gradio-container h3 {
+    color: #E6007E !important;
+    font-weight: 600;
+}
+
+/* Primary buttons */
+.gradio-container .primary {
+    background: linear-gradient(135deg, #E6007E 0%, #C5006C 100%) !important;
+    color: white !important;
+    border: none !important;
+    border-radius: 8px !important;
+    font-weight: 600 !important;
+    box-shadow: 0 2px 4px rgba(230, 0, 126, 0.3) !important;
+    transition: all 0.3s ease !important;
+}
+
+.gradio-container .primary:hover {
+    transform: translateY(-1px) !important;
+    box-shadow: 0 4px 8px rgba(230, 0, 126, 0.4) !important;
+}
+
+/* Tab styling */
+.gradio-container .tab-nav button {
+    color: #E6007E !important;
+    border-bottom: 2px solid transparent !important;
+}
+
+.gradio-container .tab-nav button.selected {
+    color: #E6007E !important;
+    border-bottom: 2px solid #E6007E !important;
+    font-weight: 600 !important;
+}
+
+/* Table headers */
+.gradio-container table thead th {
+    background-color: #E6007E !important;
+    color: white !important;
+    font-weight: 600 !important;
+}
+
+/* Cards and blocks */
+.gradio-container .block {
+    border-radius: 12px !important;
+    border: 1px solid #f0f0f0 !important;
+    box-shadow: 0 1px 3px rgba(0,0,0,0.1) !important;
+}
+
+/* Status messages */
+.gradio-container .textbox textarea[readonly] {
+    background-color: #f8f9fa !important;
+    border-left: 4px solid #E6007E !important;
+}
+"""
+
+# ===================== Gradio Interface =====================
+def create_app():
+    """Create the Gradio application"""
+    
+    with gr.Blocks(css=custom_css, title="Instagram Comment Analyzer", theme=gr.themes.Soft()) as app:
+        
+        # Header
+        gr.Markdown("""
+        # 📸 Instagram Comment Analyzer
+        
+        Анализ комментариев Instagram с помощью ИИ. Получите детальную аналитику тональности, 
+        категоризацию и модерацию контента.
+        
+        **Как использовать:**
+        1. Вставьте ссылку на публичный пост Instagram
+        2. Нажмите "Анализировать комментарии"
+        3. Просмотрите результаты в различных вкладках
+        """)
+        
+        # Input section
+        with gr.Row():
+            with gr.Column(scale=4):
+                url_input = gr.Textbox(
+                    label="🔗 Instagram URL",
+                    placeholder="https://www.instagram.com/p/XXXXXXXXX/",
+                    info="Введите ссылку на пост, рилс или IGTV"
+                )
+            with gr.Column(scale=1):
+                analyze_btn = gr.Button(
+                    "🚀 Анализировать комментарии", 
+                    variant="primary",
+                    size="lg"
+                )
+        
+        # Status output
+        status_output = gr.Textbox(
+            label="📋 Статус обработки", 
+            interactive=False,
+            lines=2
+        )
+        
+        # Results tabs
+        with gr.Tabs():
+            with gr.Tab("💬 Все комментарии"):
+                comments_df = gr.Dataframe(
+                    headers=["Пользователь", "Комментарий", "Дата", "Тональность", "Категория", "Модерация", "Автоответ"],
+                    interactive=False,
+                    wrap=True
+                )
+            
+            with gr.Tab("🛡️ Модерация"):
+                moderation_df = gr.Dataframe(
+                    headers=["Пользователь", "Комментарий", "Модерация"],
+                    interactive=False,
+                    wrap=True
+                )
+            
+            with gr.Tab("🤖 Автоответы"):
+                answers_df = gr.Dataframe(
+                    headers=["Пользователь", "Комментарий", "Автоответ"],
+                    interactive=False,
+                    wrap=True
+                )
+            with gr.Tab("📊 Аналитика"):
+                with gr.Row():
+                    stats_markdown = gr.Markdown("Загрузите Instagram ссылку для просмотра статистики.")
+
+                # Use Matplotlib components because make_charts returns matplotlib fig objects
+                with gr.Row():
+                    with gr.Column():
+                        categories_chart = gr.Plot(label="Распределение по категориям")
+                    with gr.Column():
+                        sentiments_chart = gr.Plot(label="Распределение по тональности")
+                    # with gr.Column():
+                    #     categories_chart = gr.Matplotlib(label="Распределение по категориям")
+                    # with gr.Column():
+                    #     sentiments_chart = gr.Matplotlib(label="Распределение по тональности")
+
+                download_files = gr.File(
+                    label="📁 Скачать отчеты (CSV + Excel)",
+                    file_count="multiple",
+                    file_types=[".csv", ".xlsx"],
+                    interactive=False,
+                    visible=True
+                )
+        
+        # Example section
+        gr.Markdown("""
+        ### 📝 Примеры ссылок:
+        - `https://www.instagram.com/p/XXXXXXXXX/` - обычный пост
+        - `https://www.instagram.com/reel/XXXXXXXXX/` - рилс
+        - `https://www.instagram.com/tv/XXXXXXXXX/` - IGTV
+        
+        ⚠️ **Важно:** Ссылка должна вести на публичный контент
+        
+        ### 🔧 Отладка:
+        Если файлы не скачиваются, проверьте логи в консоли Hugging Face Spaces.
+        """)
+        
+        # Add test file generation button
+        with gr.Row():
+            test_files_btn = gr.Button("🧪 Создать тестовые файлы", variant="secondary")
+            test_status = gr.Textbox(label="Статус теста", interactive=False, visible=False)
+            test_files_output = gr.File(label="Тестовые файлы", file_count="multiple", visible=False)
+        
+        # Connect the processing function
+        analyze_btn.click(
+            fn=process_instagram_url,
+            inputs=[url_input],
+            outputs=[
+                status_output,
+                comments_df,
+                moderation_df, 
+                answers_df,
+                stats_markdown,
+                categories_chart,
+                sentiments_chart,
+                download_files
+            ]
+        )
+        
+        # Connect test function
+        test_files_btn.click(
+            fn=test_file_generation,
+            inputs=[],
+            outputs=[test_status, test_files_output]
+        ).then(
+            lambda: (gr.update(visible=True), gr.update(visible=True)),
+            outputs=[test_status, test_files_output]
+        )
+    
+    return app
+
+# ===================== Launch Application =====================
+if __name__ == "__main__":
+    app = create_app()
+    app.launch(
+        share=False,
+        server_name="0.0.0.0",
+        server_port=7860
+    )