models

.gitattributes

@@ -33,4 +33,3 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
-DejaVuSans.ttf filter=lfs diff=lfs merge=lfs -text

DejaVuSans.ttf

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:08ca98e69d9d8fa1065584b4f9ab7d49b6205abea6572b90e171b254845bb990
-size 741536

Dockerfile

@@ -1,32 +0,0 @@
-# Используем Python 3.12 для стабильной работы numba и umap
-FROM python:3.12-slim
-
-# Устанавливаем системные зависимости для OpenCV, FFmpeg и сборки моделей
-RUN apt-get update && apt-get install -y \
-    git \
-    git-lfs \
-    ffmpeg \
-    libsm6 \
-    libxext6 \
-    cmake \
-    rsync \
-    libgl1 \
-    && rm -rf /var/lib/apt/lists/* \
-    && git lfs install
-
-# Создаем рабочую директорию
-WORKDIR /app
-
-# Сначала копируем только требования, чтобы использовать кэш Docker
-COPY requirements.txt .
-RUN pip install --no-cache-dir -U pip && \
-    pip install --no-cache-dir -r requirements.txt
-
-# Копируем остальные файлы (app.py и модели .joblib)
-COPY . .
-
-# Открываем порт для Gradio (Hugging Face использует 7860)
-EXPOSE 7860
-
-# Запускаем приложение
-CMD ["python", "app.py"]

README.md

@@ -5,10 +5,9 @@ colorFrom: indigo
 colorTo: red
 sdk: gradio
 sdk_version: 6.3.0
-python_version: 3.12
 app_file: app.py
 pinned: false
 license: mit
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -6,228 +6,149 @@ import numpy as np
 import io
 import joblib
 import os
-from PIL import Image
-from fpdf import FPDF
-from fpdf.enums import XPos, YPos
-import umap
-
-# Безопасный импорт HDBSCAN
-try:
-    import hdbscan
-except ImportError:
-    try:
-        from sklearn.cluster import HDBSCAN as hdbscan
-    except ImportError:
-        hdbscan = None
-
-# 1. Настройки среды и загрузка моделей
+
+# Установка бэкенда matplotlib
 plt.switch_backend('Agg')
-BASE_DIR = os.path.dirname(os.path.abspath(__file__))
-
-def load_model(file_name):
-    path = os.path.join(BASE_DIR, file_name)
-    if not os.path.exists(path):
-        path = os.path.join(BASE_DIR, 'models', file_name)
-    try:
-        return joblib.load(path)
-    except:
-        return None
-
-# Загрузка компонентов (названия файлов из вашего репозитория)
-xgb_reg = load_model('xgb_reg_model.joblib')
-xgb_clf = load_model('xgb_clf_model.joblib')
-umap_reducer = load_model('umap_reducer.joblib')
-hdbscan_model = load_model('hdbscan_clusterer.joblib')
-train_coords = load_model('train_umap_coords.joblib')
-train_labels = load_model('train_clusters.joblib')
-# Если файла с признаками нет, мы создадим его структуру из модели
-train_features = load_model('train_data_for_umap.joblib')
-
-# Словарь для перевода признаков в SHAP
-rename_dict = {
-    'RIDAGEYR': 'Возраст', 'RIAGENDR': 'Пол', 'BMXBMI': 'ИМТ',
-    'BMXWAIST': 'Талия', 'BPXSY1': 'Сист. АД', 'BPXDI1': 'Диаст. АД',
-    'LBXGH': 'Гликированный гемоглобин', 'LBDTCSI': 'Общий холестерин',
-    'LBDHDD': 'ЛПВП', 'LBXTR': 'Триглицериды', 'LBXCRP': 'СРБ',
-    'PHQ9_score': 'Депрессия (PHQ-9)', 'LBXBPB': 'Свинец',
-    'LBXBCD': 'Кадмий', 'LBXTHG': 'Ртуть', 'URXPHL': 'Фталаты',
-    'LBXIN': 'Инсулин', 'URXMEP': 'Моноэтилфталат'
+
+# Загрузка моделей
+model_dir = './models'
+xgb_reg_model = joblib.load(os.path.join(model_dir, 'xgb_reg_model.joblib'))
+xgb_clf_model = joblib.load(os.path.join(model_dir, 'xgb_clf_model.joblib'))
+umap_reducer = joblib.load(os.path.join(model_dir, 'umap_reducer.joblib'))
+hdbscan_clusterer = joblib.load(os.path.join(model_dir, 'hdbscan_clusterer.joblib'))
+
+# Определение колонок (ВАЖНО: должны совпадать с обучением)
+feature_columns = [
+    'RIDAGEYR', 'RIAGENDR', 'BMXBMI', 'BMXWAIST', 'BPXSY1', 'BPXDI1',
+    'LBXGH', 'LBXHSCRP', 'LBDTCSI', 'LBDHDD', 'LBXIN',
+    'SLQ050', 'HSQ510', 'PHQ9_score',
+    'LBXBPB', 'LBXBCD', 'LBXTHG', 'URXMHH'
+]
+
+# Списки признаков для конкретных моделей
+X_reg_features_cols = feature_columns
+X_clf_features_cols_without_AL_score = feature_columns
+
+# Медианы для заполнения пропусков
+x_train_medians_values = {
+    'RIDAGEYR': 31.0, 'RIAGENDR': 2.0, 'BMXBMI': 25.8, 'BMXWAIST': 91.2, 'BPXSY1': 118.0,
+    'BPXDI1': 70.0, 'LBXGH': 5.5, 'LBXHSCRP': 1.35, 'LBDTCSI': 4.55, 'LBDHDD': 51.0,
+    'SLQ050': 2.0, 'HSQ510': 2.0, 'LBXIN': 10.04, 'PHQ9_score': 0.0,
+    'LBXBPB': 0.76, 'LBXBCD': 0.22, 'LBXTHG': 0.51, 'URXMHH': 5.5
 }
+X_train_medians = pd.Series(x_train_medians_values)
 
-# 2. Логика PDF (Исправленная работа со шрифтами)
-class PDF(FPDF):
-    def __init__(self):
-        super().__init__()
-        self.font_name = "DejaVu"
-        font_path = os.path.join(BASE_DIR, "DejaVuSans.ttf")
-        if os.path.exists(font_path):
-            self.add_font(self.font_name, "", font_path)
-            self.unicode_ready = True
-        else:
-            self.unicode_ready = False
-
-    def header(self):
-        use_font = self.font_name if self.unicode_ready else "Helvetica"
-        self.set_font(use_font, size=14)
-        self.cell(0, 10, text="Отчет PolySen Plus: Мониторинг здоровья", 
-                  new_x=XPos.LMARGIN, new_y=YPos.NEXT, align='C')
-        self.ln(5)
-
-def create_report(al_score, stage, recs, shap_img, umap_img):
-    pdf = PDF()
-    pdf.add_page()
-    use_font = pdf.font_name if pdf.unicode_ready else "Helvetica"
+thresholds_recommendation = {
+    'LBXHSCRP': 2.71, 'SLQ050': 2.0, 'PHQ9_score': 2.0, 'HSQ510': 2.0,
+    'LBXBPB': 1.07, 'LBXBCD': 0.35, 'LBXTHG': 0.91, 'URXMHH': 5.5
+}
+
+def generate_recommendations(participant_data):
+    recommendations = []
+    stage = participant_data.get('stage_label', 0)
+    
+    if stage == 3.0:
+        recommendations.append("🔴 Уровень адаптационной нагрузки крайне высокий. Необходима немедленная консультация врача.")
+    elif stage == 2.0:
+        recommendations.append("🟠 Уровень адаптационной нагрузки высокий. Рекомендует��я изменение образа жизни.")
+    elif stage == 1.0:
+        recommendations.append("🟡 Наблюдается повышенная адаптационная нагрузка. Следите за здоровьем.")
+
+    if participant_data.get('LBXHSCRP', 0) > thresholds_recommendation['LBXHSCRP']:
+        recommendations.append(f"⚠️ Повышен уровень C-реактивного белка ({participant_data['LBXHSCRP']:.2f}).")
+
+    # Сбор симптомов
+    symptoms = []
+    if participant_data.get('SLQ050', 0) > thresholds_recommendation['SLQ050']: symptoms.append("сонливость")
+    if participant_data.get('PHQ9_score', 0) > thresholds_recommendation['PHQ9_score']: symptoms.append("высокий стресс (PHQ-9)")
     
-    pdf.set_font(use_font, size=11)
-    pdf.cell(0, 10, text=f"Индекс нагрузки (AL Score): {al_score}", new_x=XPos.LMARGIN, new_y=YPos.NEXT)
-    pdf.cell(0, 10, text=f"Клиническая стадия: {stage}", new_x=XPos.LMARGIN, new_y=YPos.NEXT)
-    pdf.ln(5)
+    if symptoms:
+        recommendations.append(f"💡 Обратите внимание на: {', '.join(symptoms)}.")
+
+    if not recommendations:
+        recommendations.append("✅ Ваши показатели в норме.")
+    
+    return recommendations
+
+def predict_and_recommend(*args):
+    # Создание DataFrame
+    input_df = pd.DataFrame([args], columns=feature_columns)
+    
+    # Заполнение пропусков
+    for col in feature_columns:
+        if pd.isna(input_df[col]).any():
+            input_df[col] = input_df[col].fillna(X_train_medians.get(col, 0))
+
+    # Предсказание AL Score
+    predicted_al_score = xgb_reg_model.predict(input_df[X_reg_features_cols])[0]
+
+    # Подготовка для классификатора и UMAP
+    input_df_clf = input_df[X_clf_features_cols_without_AL_score].copy()
+    input_df_clf.insert(0, 'AL_score', predicted_al_score)
+
+    predicted_stage_label = xgb_clf_model.predict(input_df_clf)[0]
     
-    pdf.set_font(use_font, size=10)
-    clean_recs = "ПЕРСОНАЛЬНЫЕ РЕКОМЕНДАЦИИ:\n" + recs.replace('###', '').replace('**', '').replace('-', '•')
-    pdf.multi_cell(0, 6, text=clean_recs)
+    # UMAP и Кластеризация
+    umap_emb = umap_reducer.transform(input_df_clf)
+    cluster = hdbscan_clusterer.predict(umap_emb)[0]
     
-    if shap_img:
-        shap_img.save("temp_sh.png")
-        pdf.image("temp_sh.png", x=10, w=180)
-        pdf.ln(5)
+    # SHAP
+    explainer = shap.TreeExplainer(xgb_reg_model)
+    shap_vals = explainer.shap_values(input_df[X_reg_features_cols])
     
-    if umap_img:
-        umap_img.save("temp_um.png")
-        pdf.image("temp_um.png", x=40, w=120)
-        
-    path = "PolySen_Health_Report.pdf"
-    pdf.output(path)
-    return path
-
-# 3. Функция рекомендаций
-def get_recommendations(al_score, stage, data):
-    recs = []
-    if al_score > 1.1:
-        recs.append("- Внимание: Повышенный биологический износ систем организма.")
-    if data['BMXBMI'] > 27:
-        recs.append("- Рекомендуется снижение ИМТ и контроль калорийности.")
-    if data['BPXSY1'] > 135:
-        recs.append("- Высокое давление: ограничьте натрий и проверьте почки.")
-    if data['PHQ9_score'] > 10:
-        recs.append("- Ментальное здоровье: высокий балл PHQ-9, обратитесь к специалисту.")
-    if not recs:
-        recs.append("- Все биомаркеры в норме. Рекомендуется плановое наблюдение.")
-    return "\n".join(recs)
-
-# 4. Основной процесс
-def main_process(age, gender_txt, bmi, waist, sbp, dbp, gh, tc, hdl, tg, crp, phq, lead, cadmium, mercury, phthalates):
-    try:
-        gender = 1 if gender_txt == "Мужской" else 2
-        input_data = {
-            'RIDAGEYR': age, 'RIAGENDR': gender, 'BMXBMI': bmi, 'BMXWAIST': waist,
-            'BPXSY1': sbp, 'BPXDI1': dbp, 'LBXGH': gh, 'LBDTCSI': tc,
-            'LBDHDD': hdl, 'LBXTR': tg, 'LBXCRP': crp, 'PHQ9_score': phq,
-            'LBXBPB': lead, 'LBXBCD': cadmium, 'LBXTHG': mercury, 'URXPHL': phthalates
-        }
-
-        # Регрессия AL Score
-        reg_features = xgb_reg.get_booster().feature_names
-        df_reg = pd.DataFrame(0.0, index=[0], columns=reg_features)
-        for c in reg_features:
-            if c in input_data: df_reg.at[0, c] = input_data[c]
-        al_val = float(xgb_reg.predict(df_reg)[0])
-        
-        # Классификация Стадии
-        clf_features = xgb_clf.get_booster().feature_names
-        df_clf = pd.DataFrame(0.0, index=[0], columns=clf_features)
-        input_data['AL_score'] = al_val
-        for c in clf_features:
-            if c in input_data: df_clf.at[0, c] = input_data[c]
-        
-        st_idx = int(xgb_clf.predict(df_clf)[0])
-        st_map = {0: "Норма", 1: "Начальная", 2: "Выраженная", 3: "Критическая"}
-        res_stage = st_map.get(st_idx, f"Стадия {st_idx}")
-
-        # SHAP
-        df_shap = df_reg.rename(columns=rename_dict)
-        explainer = shap.TreeExplainer(xgb_reg)
-        shap_vals = explainer.shap_values(df_reg)
-        plt.figure(figsize=(10, 3))
-        shap.force_plot(explainer.expected_value, shap_vals[0], df_shap.iloc[0], matplotlib=True, show=False)
-        buf_s = io.BytesIO()
-        plt.savefig(buf_s, format='png', bbox_inches='tight', dpi=120)
-        img_shap = Image.open(buf_s)
-        plt.close()
-
-        # UMAP (Исправленный блок)
-        img_umap = None
-        phenotype = "Фенотип не определен"
-        
-        if umap_reducer is not None:
-            try:
-                # Автоматически определяем нужные колонки из модели, если train_features не загружен
-                expected_cols = getattr(umap_reducer, 'feature_names_in_', reg_features)
-                u_in = pd.DataFrame(0.0, index=[0], columns=expected_cols)
-                for col in u_in.columns:
-                    if col in input_data: u_in.at[0, col] = input_data[col]
-                
-                # Координаты
-                coords = umap_reducer.transform(u_in)[0]
-                
-                # Отрисовка
-                plt.figure(figsize=(6, 4))
-                if train_coords is not None:
-                    plt.scatter(train_coords[:, 0], train_coords[:, 1], c=train_labels, cmap='viridis', s=2, alpha=0.1)
-                plt.scatter(coords[0], coords[1], color='red', marker='X', s=150, label='Вы здесь')
-                plt.axis('off')
-                plt.title("Позиция в популяции")
-                
-                buf_u = io.BytesIO()
-                plt.savefig(buf_u, format='png', bbox_inches='tight')
-                img_umap = Image.open(buf_u)
-                plt.close()
-                
-                if hdbscan_model:
-                    pid = hdbscan_model.predict([coords])[0]
-                    phenotype = f"Фенотип здоровья №{pid}"
-            except Exception as e:
-                phenotype = f"Ошибка визуализации: {str(e)[:50]}"
-
-        recs = get_recommendations(al_val, res_stage, input_data)
-        pdf_path = create_report(f"{al_val:.2f}", res_stage, recs, img_shap, img_umap)
-
-        return f"{al_val:.2f}", res_stage, recs, phenotype, img_shap, img_umap, pdf_path
-
-    except Exception as e:
-        return f"Ошибка: {str(e)}", "---", "---", "---", None, None, None
-
-# 5. Интерфейс
-with gr.Blocks(title="PolySen Plus") as demo:
-    gr.Markdown("# 🏥 PolySen Plus: Мониторинг здоровья")
+    plt.figure(figsize=(10, 3))
+    shap.force_plot(explainer.expected_value, shap_vals[0], input_df.iloc[0], matplotlib=True, show=False)
+    buf = io.BytesIO()
+    plt.savefig(buf, format='png', bbox_inches='tight')
+    plt.close()
+    
+    # Рекомендации
+    diag_data = input_df.iloc[0].to_dict()
+    diag_data['stage_label'] = predicted_stage_label
+    recs = generate_recommendations(diag_data)
+
+    return (
+        round(float(predicted_al_score), 2),
+        int(predicted_stage_label),
+        f"{umap_emb[0,0]:.2f}, {umap_emb[0,1]:.2f}",
+        str(cluster),
+        buf.getvalue(),
+        "\n".join(recs)
+    )
+
+# Описание интерфейса Gradio
+feature_labels = {
+    'RIDAGEYR': 'Возраст', 'RIAGENDR': 'Пол (1=М, 2=Ж)', 'BMXBMI': 'ИМТ',
+    'BMXWAIST': 'Талия', 'BPXSY1': 'Сист. АД', 'BPXDI1': 'Диаст. АД',
+    'LBXGH': 'HbA1c', 'LBXHSCRP': 'hsCRP', 'LBDTCSI': 'Холестерин',
+    'LBDHDD': 'ЛПВП', 'LBXIN': 'Инсулин', 'SLQ050': 'Сонливость',
+    'HSQ510': 'Боль', 'PHQ9_score': 'PHQ-9', 'LBXBPB': 'Свинец',
+    'LBXBCD': 'Кадмий', 'LBXTHG': 'Ртуть', 'URXMHH': 'Фталаты'
+}
+
+with gr.Blocks() as demo:
+    gr.Markdown("# Система оценки адаптационной нагрузки")
+    
+    inputs = []
     with gr.Row():
         with gr.Column():
-            age = gr.Slider(18, 100, 45, label="Возраст")
-            gender = gr.Radio(["Мужской", "Женский"], value="Мужской", label="Пол")
-            with gr.Row():
-                bmi = gr.Number(value=25.0, label="ИМТ")
-                waist = gr.Number(value=90.0, label="Талия (см)")
-            with gr.Row():
-                sbp = gr.Slider(80, 200, 120, label="Сист. АД")
-                dbp = gr.Slider(40, 120, 80, label="Диаст. АД")
-            with gr.Accordion("Дополнительные биомаркеры", open=False):
-                gh, tc, hdl, tg, crp = [gr.Number(v, label=l) for v, l in [(5.5, "HbA1c"), (5.0, "Общий Холест."), (1.2, "ЛПВП"), (1.5, "ТГ"), (1.0, "СРБ")]]
-                phq = gr.Slider(0, 27, 5, label="PHQ-9 (Депрессия)")
-                l, c, m, p = [gr.Number(v, label=n) for v, n in [(1.0, "Свинец"), (0.3, "Кадмий"), (0.5, "Ртуть"), (5.0, "Фталаты")]]
-            btn = gr.Button("🚀 Провести анализ", variant="primary")
-
+            for col in feature_columns[:9]:
+                inputs.append(gr.Number(label=feature_labels[col], value=X_train_medians[col]))
         with gr.Column():
-            with gr.Row():
-                o1 = gr.Label(label="AL Score")
-                o2 = gr.Label(label="Стадия")
-            o3 = gr.Markdown(label="Рекомендации")
-            o4 = gr.Label(label="Ваш фенотип")
-            o5 = gr.Image(label="Влияние факторов (SHAP)")
-            o6 = gr.Image(label="Позиция в популяции (UMAP)")
-            o7 = gr.File(label="📄 Скачать отчет")
-
-    btn.click(main_process, 
-              inputs=[age, gender, bmi, waist, sbp, dbp, gh, tc, hdl, tg, crp, phq, l, c, m, p], 
-              outputs=[o1, o2, o3, o4, o5, o6, o7])
-
-demo.launch(theme=gr.themes.Soft())
+            for col in feature_columns[9:]:
+                inputs.append(gr.Number(label=feature_labels[col], value=X_train_medians[col]))
+
+    btn = gr.Button("Рассчитать")
+    
+    with gr.Row():
+        al_out = gr.Textbox(label="AL Score")
+        stage_out = gr.Textbox(label="Стадия")
+    
+    coords_out = gr.Textbox(label="UMAP Координаты")
+    cluster_out = gr.Textbox(label="Кластер")
+    shap_out = gr.Image(label="Влияние признаков (SHAP)")
+    recs_out = gr.Textbox(label="Рекомендации", lines=5)
+
+    btn.click(predict_and_recommend, inputs=inputs, outputs=[al_out, stage_out, coords_out, cluster_out, shap_out, recs_out])
+
+demo.launch()

requirements.txt

@@ -1,10 +1,11 @@
-numpy==1.26.4
-pandas==2.1.4
-scikit-learn==1.3.2
-xgboost==2.0.3
-umap-learn==0.5.5
-shap==0.44.0
-matplotlib==3.8.2
-joblib==1.3.2
-Pillow==10.2.0
-fpdf2 
+pandas>=2.2.3
+numpy>=2.1.0
+scikit-learn==1.6.1
+xgboost==3.1.2
+umap-learn==0.5.9.post2
+hdbscan==0.8.41
+shap==0.50.0
+gradio==5.50.0
+matplotlib==3.10.0
+seaborn==0.13.2
+joblib==1.5.3