app.py

import gradio as gr
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.preprocessing import LabelEncoder, OneHotEncoder, StandardScaler, MinMaxScaler, RobustScaler
from sklearn.impute import KNNImputer
from scipy import stats
import plotly.express as px
import plotly.graph_objects as go
from plotly.subplots import make_subplots
import warnings
import io
import base64
from datetime import datetime
import json
import statsmodels.api as sm
from statsmodels.stats.outliers_influence import variance_inflation_factor
from scipy.stats import chi2_contingency

warnings.filterwarnings('ignore')


class DataAnalyzer:
    def __init__(self):
        self.df = None
        self.numeric_columns = None
        self.categorical_columns = None

    def load_data(self, file):
        try:
            self.df = pd.read_csv(file.name)
            self._identify_column_types()
            return "Veri başarıyla yüklendi!"
        except Exception as e:
            return f"Hata: {str(e)}"

    def _identify_column_types(self):
        self.numeric_columns = self.df.select_dtypes(include=[np.number]).columns
        self.categorical_columns = self.df.select_dtypes(include=['object']).columns

    def get_basic_info(self):
        if self.df is None:
            return "Önce veri yükleyin!"

        info = []
        info.append("### 1. Temel Veri Bilgileri")
        info.append(f"Satır Sayısı: {self.df.shape[0]}")
        info.append(f"Sütun Sayısı: {self.df.shape[1]}")

        memory_usage = self.df.memory_usage(deep=True).sum()
        info.append(f"Bellek Kullanımı: {memory_usage / 1024:.2f} KB")

        # Veri tipleri
        info.append("\n### 2. Veri Tipleri ve Örnekler")
        for column in self.df.columns:
            unique_count = self.df[column].nunique()
            info.append(f"\n{column}:")
            info.append(f"  - Tip: {self.df[column].dtype}")
            info.append(f"  - Benzersiz Değer Sayısı: {unique_count}")
            info.append(f"  - İlk 3 Örnek: {', '.join(map(str, self.df[column].head(3)))}")

        return "\n".join(info)

    def analyze_missing_values(self):
        if self.df is None:
            return "Önce veri yükleyin!"

        missing = pd.DataFrame({
            'Eksik Sayı': self.df.isnull().sum(),
            'Eksik Yüzde': (self.df.isnull().sum() / len(self.df) * 100).round(2)
        })

        # Eksik değer pattern analizi
        missing_patterns = self.df.isnull().value_counts().head()

        result = "### Eksik Değer Analizi\n\n"
        result += missing.to_string()
        result += "\n\n### Eksik Değer Örüntüleri (İlk 5)\n\n"
        result += missing_patterns.to_string()

        return result

    def analyze_outliers(self, method='zscore', threshold=3):
        if self.df is None:
            return "Önce veri yükleyin!"

        results = []
        results.append("### Aykırı Değer Analizi\n")

        for column in self.numeric_columns:
            results.append(f"\n{column} analizi:")

            if method == 'zscore':
                z_scores = np.abs(stats.zscore(self.df[column].dropna()))
                outliers = np.where(z_scores > threshold)[0]
                results.append(f"Z-score metodu ile {len(outliers)} aykırı değer bulundu")
                if len(outliers) > 0:
                    results.append(f"Aykırı değerler: {self.df[column].iloc[outliers].values[:5]}...")

            elif method == 'iqr':
                Q1 = self.df[column].quantile(0.25)
                Q3 = self.df[column].quantile(0.75)
                IQR = Q3 - Q1
                outliers = self.df[(self.df[column] < (Q1 - 1.5 * IQR)) |
                                   (self.df[column] > (Q3 + 1.5 * IQR))][column]
                results.append(f"IQR metodu ile {len(outliers)} aykırı değer bulundu")
                if len(outliers) > 0:
                    results.append(f"Aykırı değerler: {outliers.values[:5]}...")

            # Temel istatistikler
            stats_data = self.df[column].describe()
            results.append("\nTemel İstatistikler:")
            results.append(stats_data.to_string())

        return "\n".join(results)

    def analyze_correlations(self):
        if self.df is None:
            return "Önce veri yükleyin!"

        # Sayısal değişkenler için korelasyon
        numeric_corr = self.df[self.numeric_columns].corr()

        # Kategorik değişkenler için Cramer's V
        cat_correlations = []
        for col1 in self.categorical_columns:
            for col2 in self.categorical_columns:
                if col1 < col2:
                    contingency = pd.crosstab(self.df[col1], self.df[col2])
                    chi2, _, _, _ = chi2_contingency(contingency)
                    n = contingency.sum().sum()
                    v = np.sqrt(chi2 / (n * min(contingency.shape[0] - 1, contingency.shape[1] - 1)))
                    cat_correlations.append(f"{col1} - {col2}: {v:.3f}")

        result = "### Sayısal Değişkenler Arası Korelasyonlar\n\n"
        result += numeric_corr.round(3).to_string()

        if cat_correlations:
            result += "\n\n### Kategorik Değişkenler Arası İlişkiler (Cramer's V)\n\n"
            result += "\n".join(cat_correlations)

        return result

    def create_visualization(self, plot_type, x_col, y_col=None, color_col=None):
        if self.df is None:
            return None

        plt.figure(figsize=(10, 6))

        try:
            if plot_type == 'histogram':
                fig = px.histogram(self.df, x=x_col, color=color_col,
                                   title=f'{x_col} Histogram')

            elif plot_type == 'box':
                fig = px.box(self.df, x=x_col, y=y_col, color=color_col,
                             title=f'{x_col} - {y_col} Box Plot')

            elif plot_type == 'scatter':
                fig = px.scatter(self.df, x=x_col, y=y_col, color=color_col,
                                 title=f'{x_col} vs {y_col} Scatter Plot')

            elif plot_type == 'bar':
                fig = px.bar(self.df, x=x_col, y=y_col, color=color_col,
                             title=f'{x_col} - {y_col} Bar Plot')

            elif plot_type == 'violin':
                fig = px.violin(self.df, x=x_col, y=y_col, color=color_col,
                                title=f'{x_col} - {y_col} Violin Plot')

            elif plot_type == 'line':
                fig = px.line(self.df, x=x_col, y=y_col, color=color_col,
                              title=f'{x_col} - {y_col} Line Plot')

            elif plot_type == 'heatmap':
                corr = self.df[[x_col, y_col]].corr()
                fig = px.imshow(corr, title='Correlation Heatmap')

            return fig

        except Exception as e:
            return f"Görselleştirme oluşturulurken hata: {str(e)}"

    def feature_importance(self, target_col):
        if self.df is None:
            return "Önce veri yükleyin!"

        try:
            # Sayısal değişkenler için VIF hesaplama
            X = self.df[self.numeric_columns].drop(columns=[target_col], errors='ignore')
            vif_data = pd.DataFrame()
            vif_data["Feature"] = X.columns
            vif_data["VIF"] = [variance_inflation_factor(X.values, i)
                               for i in range(X.shape[1])]

            result = "### Özellik Önem Analizi\n\n"
            result += "VIF (Variance Inflation Factor) Değerleri:\n"
            result += vif_data.sort_values('VIF', ascending=False).to_string()

            # Korelasyon bazlı özellik önemi
            if target_col in self.df.columns:
                correlations = self.df[self.numeric_columns].corrwith(self.df[target_col])
                result += "\n\nHedef Değişken ile Korelasyonlar:\n"
                result += correlations.sort_values(ascending=False).to_string()

            return result

        except Exception as e:
            return f"Özellik önem analizi sırasında hata: {str(e)}"

    def statistical_tests(self, column1, column2=None):
        if self.df is None:
            return "Önce veri yükleyin!"

        results = []
        results.append("### İstatistiksel Test Sonuçları\n")

        try:
            # Tek değişkenli testler
            if column2 is None:
                # Normallik testi
                stat, p_value = stats.normaltest(self.df[column1].dropna())
                results.append(f"Normallik Testi (D'Agostino and Pearson's):")
                results.append(f"Stat: {stat:.4f}, p-value: {p_value:.4f}")
                results.append(f"Sonuç: {'Normal dağılım' if p_value > 0.05 else 'Normal dağılım değil'}\n")

                # Temel istatistikler
                desc = self.df[column1].describe()
                results.append("Temel İstatistikler:")
                results.append(desc.to_string())

            # İki değişkenli testler
            else:
                if column1 in self.numeric_columns and column2 in self.numeric_columns:
                    # Pearson korelasyon
                    corr, p_value = stats.pearsonr(self.df[column1].dropna(),
                                                   self.df[column2].dropna())
                    results.append(f"Pearson Korelasyon:")
                    results.append(f"Correlation: {corr:.4f}, p-value: {p_value:.4f}\n")

                    # T-test
                    t_stat, p_value = stats.ttest_ind(self.df[column1].dropna(),
                                                      self.df[column2].dropna())
                    results.append(f"Bağımsız T-test:")
                    results.append(f"T-stat: {t_stat:.4f}, p-value: {p_value:.4f}\n")

                elif column1 in self.categorical_columns and column2 in self.categorical_columns:
                    # Chi-square test
                    contingency = pd.crosstab(self.df[column1], self.df[column2])
                    chi2, p_value, dof, expected = chi2_contingency(contingency)
                    results.append(f"Chi-square Bağımsızlık Testi:")
                    results.append(f"Chi2: {chi2:.4f}, p-value: {p_value:.4f}")

            return "\n".join(results)

        except Exception as e:
            return f"İstatistiksel testler sırasında hata: {str(e)}"


def create_interface():
    analyzer = DataAnalyzer()

    with gr.Blocks() as demo:
        gr.Markdown("# Gelişmiş Veri Analiz Aracı")

        with gr.Tab("Veri Yükleme ve Temel Bilgiler"):
            file_input = gr.File(label="CSV Dosyası Yükleyin")
            load_button = gr.Button("Veri Yükle")
            info_button = gr.Button("Temel Bilgileri Göster")
            output_text = gr.Textbox(label="Sonuçlar", lines=20)

            load_button.click(analyzer.load_data, inputs=[file_input], outputs=[output_text])
            info_button.click(analyzer.get_basic_info, outputs=[output_text])

        with gr.Tab("Eksik Değer Analizi"):
            missing_button = gr.Button("Eksik Değerleri Analiz Et")
            missing_output = gr.Textbox(label="Eksik Değer Analizi", lines=15)

            missing_button.click(analyzer.analyze_missing_values, outputs=[missing_output])

        with gr.Tab("Aykırı Değer Analizi"):
            with gr.Row():
                outlier_method = gr.Radio(["zscore", "iqr"], label="Analiz Metodu", value="zscore")
                outlier_threshold = gr.Slider(minimum=1, maximum=5, value=3, label="Eşik Değeri")
            outlier_button = gr.Button("Aykırı Değerleri Analiz Et")
            outlier_output = gr.Textbox(label="Aykırı Değer Analizi", lines=15)

            outlier_button.click(
                analyzer.analyze_outliers,
                inputs=[outlier_method, outlier_threshold],
                outputs=[outlier_output]
            )

            with gr.Tab("Korelasyon Analizi"):
                corr_button = gr.Button("Korelasyonları Analiz Et")
                corr_output = gr.Textbox(label="Korelasyon Analizi", lines=15)

                corr_button.click(analyzer.analyze_correlations, outputs=[corr_output])

            with gr.Tab("Görselleştirme"):
                with gr.Row():
                    plot_type = gr.Dropdown(
                        choices=[
                            "histogram", "box", "scatter", "bar",
                            "violin", "line", "heatmap"
                        ],
                        label="Grafik Tipi",
                        value="histogram"
                    )
                    x_col = gr.Dropdown(label="X Ekseni")
                    y_col = gr.Dropdown(label="Y Ekseni")
                    color_col = gr.Dropdown(label="Renk Değişkeni (Opsiyonel)")

                plot_button = gr.Button("Grafik Oluştur")
                plot_output = gr.Plot(label="Görselleştirme")

                def update_columns(file):
                    if file is not None:
                        df = pd.read_csv(file.name)
                        return gr.Dropdown(choices=df.columns.tolist()), \
                            gr.Dropdown(choices=df.columns.tolist()), \
                            gr.Dropdown(choices=['None'] + df.columns.tolist())
                    return gr.Dropdown(), gr.Dropdown(), gr.Dropdown()

                file_input.change(
                    update_columns,
                    inputs=[file_input],
                    outputs=[x_col, y_col, color_col]
                )

                plot_button.click(
                    analyzer.create_visualization,
                    inputs=[plot_type, x_col, y_col, color_col],
                    outputs=[plot_output]
                )

            with gr.Tab("İstatistiksel Analizler"):
                with gr.Row():
                    stat_col1 = gr.Dropdown(label="Birinci Değişken")
                    stat_col2 = gr.Dropdown(label="İkinci Değişken (Opsiyonel)")

                stat_button = gr.Button("İstatistiksel Testleri Çalıştır")
                stat_output = gr.Textbox(label="Test Sonuçları", lines=15)

                file_input.change(
                    lambda file: (
                        gr.Dropdown(choices=pd.read_csv(file.name).columns.tolist()),
                        gr.Dropdown(choices=['None'] + pd.read_csv(file.name).columns.tolist())
                    ) if file else (gr.Dropdown(), gr.Dropdown()),
                    inputs=[file_input],
                    outputs=[stat_col1, stat_col2]
                )

                stat_button.click(
                    analyzer.statistical_tests,
                    inputs=[stat_col1, stat_col2],
                    outputs=[stat_output]
                )

            with gr.Tab("Özellik Önem Analizi"):
                target_col = gr.Dropdown(label="Hedef Değişken")
                importance_button = gr.Button("Özellik Önemini Analiz Et")
                importance_output = gr.Textbox(label="Özellik Önem Analizi", lines=15)

                file_input.change(
                    lambda file: gr.Dropdown(
                        choices=pd.read_csv(file.name).columns.tolist()) if file else gr.Dropdown(),
                    inputs=[file_input],
                    outputs=[target_col]
                )

                importance_button.click(
                    analyzer.feature_importance,
                    inputs=[target_col],
                    outputs=[importance_output]
                )

            with gr.Tab("Veri Ön İşleme"):
                with gr.Row():
                    preprocess_method = gr.Radio(
                        choices=["standardization", "minmax", "robust", "log"],
                        label="Ölçeklendirme Metodu",
                        value="standardization"
                    )
                    columns_to_process = gr.Dropdown(
                        label="İşlenecek Sütunlar",
                        multiselect=True
                    )

                def preprocess_data(file, method, columns):
                    if file is None:
                        return "Önce veri yükleyin!"

                    try:
                        df = pd.read_csv(file.name)
                        processed_df = df.copy()

                        if method == "standardization":
                            scaler = StandardScaler()
                        elif method == "minmax":
                            scaler = MinMaxScaler()
                        elif method == "robust":
                            scaler = RobustScaler()
                        elif method == "log":
                            for col in columns:
                                processed_df[col] = np.log1p(df[col])
                            return processed_df

                        if method != "log":
                            processed_df[columns] = scaler.fit_transform(df[columns])

                        output_path = "preprocessed_data.csv"
                        processed_df.to_csv(output_path, index=False)
                        return output_path

                    except Exception as e:
                        return f"Ön işleme sırasında hata: {str(e)}"

                preprocess_button = gr.Button("Ön İşleme Uygula")
                preprocess_output = gr.File(label="İşlenmiş Veri")

                file_input.change(
                    lambda file: gr.Dropdown(
                        choices=pd.read_csv(file.name).select_dtypes(include=[np.number]).columns.tolist(),
                        multiselect=True
                    ) if file else gr.Dropdown(),
                    inputs=[file_input],
                    outputs=[columns_to_process]
                )

                preprocess_button.click(
                    preprocess_data,
                    inputs=[file_input, preprocess_method, columns_to_process],
                    outputs=[preprocess_output]
                )

            with gr.Tab("Rapor Oluşturma"):
                report_button = gr.Button("Kapsamlı Rapor Oluştur")

                def generate_report(file):
                    if file is None:
                        return "Önce veri yükleyin!"

                    try:
                        analyzer.load_data(file)

                        report = []
                        report.append("# Veri Analiz Raporu")
                        report.append(f"Oluşturma Tarihi: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}\n")

                        report.append("## 1. Temel Bilgiler")
                        report.append(analyzer.get_basic_info())

                        report.append("\n## 2. Eksik Değer Analizi")
                        report.append(analyzer.analyze_missing_values())

                        report.append("\n## 3. Aykırı Değer Analizi")
                        report.append(analyzer.analyze_outliers())

                        report.append("\n## 4. Korelasyon Analizi")
                        report.append(analyzer.analyze_correlations())

                        # Raporu kaydet
                        report_text = "\n".join(report)
                        with open("data_analysis_report.txt", "w", encoding="utf-8") as f:
                            f.write(report_text)

                        return "data_analysis_report.txt"

                    except Exception as e:
                        return f"Rapor oluşturma sırasında hata: {str(e)}"

                report_output = gr.File(label="Oluşturulan Rapor")

                report_button.click(
                    generate_report,
                    inputs=[file_input],
                    outputs=[report_output]
                )

        return demo

    # Arayüzü oluştur ve başlat
if __name__ == "__main__":
    demo = create_interface()
    demo.launch()