Update app.py

app.py

@@ -1,204 +1,186 @@
 import gradio as gr
-from gradio_leaderboard import Leaderboard, ColumnFilter, SelectColumns
+import torch
+from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
 import pandas as pd
-from apscheduler.schedulers.background import BackgroundScheduler
-from huggingface_hub import snapshot_download
-
-from src.about import (
-    CITATION_BUTTON_LABEL,
-    CITATION_BUTTON_TEXT,
-    EVALUATION_QUEUE_TEXT,
-    INTRODUCTION_TEXT,
-    LLM_BENCHMARKS_TEXT,
-    TITLE,
-)
-from src.display.css_html_js import custom_css
-from src.display.utils import (
-    BENCHMARK_COLS,
-    COLS,
-    EVAL_COLS,
-    EVAL_TYPES,
-    AutoEvalColumn,
-    ModelType,
-    fields,
-    WeightType,
-    Precision
-)
-from src.envs import API, EVAL_REQUESTS_PATH, EVAL_RESULTS_PATH, QUEUE_REPO, REPO_ID, RESULTS_REPO, TOKEN
-from src.populate import get_evaluation_queue_df, get_leaderboard_df
-from src.submission.submit import add_new_eval
-
-
-def restart_space():
-    API.restart_space(repo_id=REPO_ID)
-
-### Space initialisation
+import plotly.express as px
+import os # 用于检查文件是否存在
+
+# --- 1. 模型加载 ---
+# 替换为你们实际选择的模型。
+# 记住，每位同学至少负责集成一个模型，以便提交记录均衡。
+# 如果模型很大，加载时间会比较久，或者可能需要更高的 Space 硬件配置。
+# 在免费 Space 上，推荐选择较小的模型进行测试。
+
+# --- 模型 1: DistilGPT2 (小型通用文本生成模型) ---
+# 负责同学: [牛正武]
 try:
-    print(EVAL_REQUESTS_PATH)
-    snapshot_download(
-        repo_id=QUEUE_REPO, local_dir=EVAL_REQUESTS_PATH, repo_type="dataset", tqdm_class=None, etag_timeout=30, token=TOKEN
-    )
-except Exception:
-    restart_space()
+    model1_name = "distilbert/distilgpt2"
+    # device=0 表示使用第一个GPU，如果没有GPU则使用-1表示CPU
+    generator1 = pipeline("text-generation", model=model1_name, device=0 if torch.cuda.is_available() else -1)
+    print(f"✅ 模型 1 ({model1_name}) 加载成功！")
+except Exception as e:
+    print(f"❌ 模型 1 ({model1_name}) 加载失败: {e}")
+    generator1 = None # 如果加载失败，将生成器设为 None
+
+# --- 模型 2: GPT2 (通用文本生成模型) ---
+# 负责同学: [孙世纪·]
 try:
-    print(EVAL_RESULTS_PATH)
-    snapshot_download(
-        repo_id=RESULTS_REPO, local_dir=EVAL_RESULTS_PATH, repo_type="dataset", tqdm_class=None, etag_timeout=30, token=TOKEN
-    )
-except Exception:
-    restart_space()
-
-
-LEADERBOARD_DF = get_leaderboard_df(EVAL_RESULTS_PATH, EVAL_REQUESTS_PATH, COLS, BENCHMARK_COLS)
-
-(
-    finished_eval_queue_df,
-    running_eval_queue_df,
-    pending_eval_queue_df,
-) = get_evaluation_queue_df(EVAL_REQUESTS_PATH, EVAL_COLS)
-
-def init_leaderboard(dataframe):
-    if dataframe is None or dataframe.empty:
-        raise ValueError("Leaderboard DataFrame is empty or None.")
-    return Leaderboard(
-        value=dataframe,
-        datatype=[c.type for c in fields(AutoEvalColumn)],
-        select_columns=SelectColumns(
-            default_selection=[c.name for c in fields(AutoEvalColumn) if c.displayed_by_default],
-            cant_deselect=[c.name for c in fields(AutoEvalColumn) if c.never_hidden],
-            label="Select Columns to Display:",
+    model2_name = "gpt2" # 另一个相对较小的通用文本生成模型
+    generator2 = pipeline("text-generation", model=model2_name, device=0 if torch.cuda.is_available() else -1)
+    print(f"✅ 模型 2 ({model2_name}) 加载成功！")
+except Exception as e:
+    print(f"❌ 模型 2 ({model2_name}) 加载失败: {e}")
+    generator2 = None
+
+# --- [可选] 模型 3: 你可以根据需要添加第三个模型 ---
+# 例如：一个翻译模型，或者一个专门的对话模型
+# model3_name = "Helsinki-NLP/opus-mt-en-zh" # 这是一个英译中翻译模型
+# try:
+#     translator = pipeline("translation_en_to_zh", model=model3_name, device=0 if torch.cuda.is_available() else -1)
+#     print(f"✅ 模型 3 ({model3_name}) 加载成功！")
+# except Exception as e:
+#     print(f"❌ 模型 3 ({model3_name}) 加载失败: {e}")
+#     translator = None
+
+
+# --- 2. 推理函数 ---
+# 这个函数接收统一的用户输入，并调用所有加载成功的模型进行推理。
+def generate_text_outputs(prompt, max_length=100): # 增加 max_length 参数
+    output1 = "模型 1 未加载或生成失败。"
+    output2 = "模型 2 未加载或生成失败。"
+    # output3 = "模型 3 未加载或生成失败。" # 如果有第三个模型
+
+    if generator1:
+        try:
+            # 对于文本生成模型，max_new_tokens 控制生成长度
+            gen1_result = generator1(prompt, max_new_tokens=max_length, num_return_sequences=1, truncation=True)
+            output1 = gen1_result[0]['generated_text']
+            # 清理：移除输入部分，只保留生成内容
+            if output1.startswith(prompt):
+                output1 = output1[len(prompt):].strip()
+        except Exception as e:
+            output1 = f"模型 1 (DistilGPT2) 生成错误: {e}"
+
+    if generator2:
+        try:
+            gen2_result = generator2(prompt, max_new_tokens=max_length, num_return_sequences=1, truncation=True)
+            output2 = gen2_result[0]['generated_text']
+            if output2.startswith(prompt):
+                output2 = output2[len(prompt):].strip()
+        except Exception as e:
+            output2 = f"模型 2 (GPT2) 生成错误: {e}"
+
+    # # 如果有第三个模型
+    # if translator:
+    #     try:
+    #         trans_result = translator(prompt)
+    #         output3 = trans_result[0]['translation_text']
+    #     except Exception as e:
+    #         output3 = f"模型 3 (翻译模型) 生成错误: {e}"
+
+    return output1, output2 # 如果有第三个模型，这里也需要返回 output3
+
+
+# --- 3. GRACE 评估数据（示例数据，请根据你们的实际评估结果修改） ---
+# 这些数据将用于 "LLM Benchmark" 选项卡中的雷达图和表格。
+# 评分范围通常是 1-5 分，分数越高代表表现越好。
+grace_data = {
+    "维度": ["Generalization (泛化性)", "Relevance (相关性)", "Artistry (创新表现力)", "Efficiency (效率性)"],
+    # 请替换为你们实际使用的模型名称和评估分数
+    "DistilGPT2": [3.5, 3.0, 2.8, 4.5], # 示例分数
+    "GPT2": [4.0, 3.8, 3.5, 4.0]     # 示例分数
+    # "你的模型3名称": [4.2, 4.5, 4.0, 3.0] # 如果有第三个模型
+}
+grace_df = pd.DataFrame(grace_data)
+
+
+# --- 4. Gradio 界面构建 ---
+
+# LLM Benchmark 选项卡内容创建函数 (30分)
+def create_benchmark_tab():
+    # 生成雷达图
+    fig = px.line_polar(grace_df, r=grace_df.columns[1], theta="维度", line_close=True,
+                        range_r=[0, 5], title="GRACE 评估：模型横向对比")
+    # 添加其他模型的轨迹
+    for col in grace_df.columns[2:]:
+        fig.add_trace(px.line_polar(grace_df, r=col, theta="维度", line_close=True).data[0])
+
+    fig.update_traces(fill='toself', opacity=0.6) # 填充颜色，增加透明度
+    fig.update_layout(
+        polar=dict(
+            radialaxis=dict(visible=True, range=[0, 5], tickvals=[1,2,3,4,5], ticktext=['1分','2分','3分','4分','5分']) # 显示刻度
         ),
-        search_columns=[AutoEvalColumn.model.name, AutoEvalColumn.license.name],
-        hide_columns=[c.name for c in fields(AutoEvalColumn) if c.hidden],
-        filter_columns=[
-            ColumnFilter(AutoEvalColumn.model_type.name, type="checkboxgroup", label="Model types"),
-            ColumnFilter(AutoEvalColumn.precision.name, type="checkboxgroup", label="Precision"),
-            ColumnFilter(
-                AutoEvalColumn.params.name,
-                type="slider",
-                min=0.01,
-                max=150,
-                label="Select the number of parameters (B)",
-            ),
-            ColumnFilter(
-                AutoEvalColumn.still_on_hub.name, type="boolean", label="Deleted/incomplete", default=True
-            ),
-        ],
-        bool_checkboxgroup_label="Hide models",
-        interactive=False,
+        showlegend=True, # 显示图例
+        # title_font_size=20 # 标题字体大小
     )
 
+    return gr.Column(
+        gr.Markdown("## 📊 模型性能对比 (GRACE 评估)"),
+        gr.Markdown("本页展示了我们选用的模型在 GRACE 框架下的评估结果。数据为 1-5 分，分数越高代表表现越好。"),
+        gr.Plot(fig, label="GRACE 评估雷达图"),
+        gr.Markdown("### GRACE 评估数据"),
+        gr.DataFrame(grace_df, label="详细评估数据")
+    )
+
+# Arena 选项卡内容创建函数 (40分)
+def create_arena_tab():
+    with gr.Blocks() as arena_block:
+        gr.Markdown("## ⚔️ Arena: 模型实时对比")
+        gr.Markdown("在这里，您可以输入一段文本，实时查看不同模型的生成效果，并进行直观对比。")
+
+        with gr.Row():
+            # 统一输入框
+            user_input = gr.Textbox(label="您的输入:", placeholder="请输入您想让模型处理的文本或指令...", lines=3)
+            # 增加生成长度控制
+            gen_length_slider = gr.Slider(minimum=20, maximum=300, value=100, step=10, label="生成文本最大长度")
+            generate_btn = gr.Button("🚀 生成并对比")
+
+        with gr.Row():
+            # 模型 1 输出
+            output_model1 = gr.Textbox(label="模型 1 (DistilGPT2) 输出:", interactive=False, lines=10)
+            # 模型 2 输出
+            output_model2 = gr.Textbox(label="模型 2 (GPT2) 输出:", interactive=False, lines=10)
+            # # 如果有第三个模型
+            # output_model3 = gr.Textbox(label="模型 3 (翻译模型) 输出:", interactive=False, lines=10)
+
+        # 绑定按钮点击事件到推理函数
+        generate_btn.click(
+            fn=generate_text_outputs,
+            inputs=[user_input, gen_length_slider],
+            outputs=[output_model1, output_model2] # 如果有第三个模型，这里也需要添加 output_model3
+        )
+    return arena_block
+
+# Report 选项卡内容创建函数 (30分)
+def create_report_tab():
+    report_md_path = "report.md" # 假设你的报告 Markdown 文件名为 report.md
+
+    if os.path.exists(report_md_path):
+        with open(report_md_path, "r", encoding="utf-8") as f:
+            report_content = f.read()
+        return gr.Markdown(report_content)
+    else:
+        return gr.Markdown(f"## ❗ 错误：未找到报告文件 '{report_md_path}'。\n请确保已在Files页面创建 `report.md` 文件。")
+
+# --- Gradio 应用界面定义 ---
+with gr.Blocks(title="AI模型对比项目") as demo:
+    gr.Markdown("# 🤖 AI 模型对比与评估平台")
+    gr.Markdown("本平台旨在通过交互式界面，对比分析不同 AI 模型在特定任务上的表现。")
+
+    # 定义选项卡
+    with gr.Tab("⚔️ Arena"):
+        # 直接调用创建函数并渲染，确保每次点击 Tab 时内容都正确加载
+        create_arena_tab().render()
+
+    with gr.Tab("📊 LLM Benchmark"):
+        create_benchmark_tab().render()
+
+    with gr.Tab("📝 Report"):
+        # 使用 gr.Markdown 而不是 gr.load，更直接地显示文件内容
+        create_report_tab().render()
+
+# 启动 Gradio 应用
+if __name__ == "__main__":
+    demo.launch()
+
 
-demo = gr.Blocks(css=custom_css)
-with demo:
-    gr.HTML(TITLE)
-    gr.Markdown(INTRODUCTION_TEXT, elem_classes="markdown-text")
-
-    with gr.Tabs(elem_classes="tab-buttons") as tabs:
-        with gr.TabItem("🏅 LLM Benchmark", elem_id="llm-benchmark-tab-table", id=0):
-            leaderboard = init_leaderboard(LEADERBOARD_DF)
-
-        with gr.TabItem("📝 About", elem_id="llm-benchmark-tab-table", id=2):
-            gr.Markdown(LLM_BENCHMARKS_TEXT, elem_classes="markdown-text")
-
-        with gr.TabItem("🚀 Submit here! ", elem_id="llm-benchmark-tab-table", id=3):
-            with gr.Column():
-                with gr.Row():
-                    gr.Markdown(EVALUATION_QUEUE_TEXT, elem_classes="markdown-text")
-
-                with gr.Column():
-                    with gr.Accordion(
-                        f"✅ Finished Evaluations ({len(finished_eval_queue_df)})",
-                        open=False,
-                    ):
-                        with gr.Row():
-                            finished_eval_table = gr.components.Dataframe(
-                                value=finished_eval_queue_df,
-                                headers=EVAL_COLS,
-                                datatype=EVAL_TYPES,
-                                row_count=5,
-                            )
-                    with gr.Accordion(
-                        f"🔄 Running Evaluation Queue ({len(running_eval_queue_df)})",
-                        open=False,
-                    ):
-                        with gr.Row():
-                            running_eval_table = gr.components.Dataframe(
-                                value=running_eval_queue_df,
-                                headers=EVAL_COLS,
-                                datatype=EVAL_TYPES,
-                                row_count=5,
-                            )
-
-                    with gr.Accordion(
-                        f"⏳ Pending Evaluation Queue ({len(pending_eval_queue_df)})",
-                        open=False,
-                    ):
-                        with gr.Row():
-                            pending_eval_table = gr.components.Dataframe(
-                                value=pending_eval_queue_df,
-                                headers=EVAL_COLS,
-                                datatype=EVAL_TYPES,
-                                row_count=5,
-                            )
-            with gr.Row():
-                gr.Markdown("# ✉️✨ Submit your model here!", elem_classes="markdown-text")
-
-            with gr.Row():
-                with gr.Column():
-                    model_name_textbox = gr.Textbox(label="Model name")
-                    revision_name_textbox = gr.Textbox(label="Revision commit", placeholder="main")
-                    model_type = gr.Dropdown(
-                        choices=[t.to_str(" : ") for t in ModelType if t != ModelType.Unknown],
-                        label="Model type",
-                        multiselect=False,
-                        value=None,
-                        interactive=True,
-                    )
-
-                with gr.Column():
-                    precision = gr.Dropdown(
-                        choices=[i.value.name for i in Precision if i != Precision.Unknown],
-                        label="Precision",
-                        multiselect=False,
-                        value="float16",
-                        interactive=True,
-                    )
-                    weight_type = gr.Dropdown(
-                        choices=[i.value.name for i in WeightType],
-                        label="Weights type",
-                        multiselect=False,
-                        value="Original",
-                        interactive=True,
-                    )
-                    base_model_name_textbox = gr.Textbox(label="Base model (for delta or adapter weights)")
-
-            submit_button = gr.Button("Submit Eval")
-            submission_result = gr.Markdown()
-            submit_button.click(
-                add_new_eval,
-                [
-                    model_name_textbox,
-                    base_model_name_textbox,
-                    revision_name_textbox,
-                    precision,
-                    weight_type,
-                    model_type,
-                ],
-                submission_result,
-            )
-
-    with gr.Row():
-        with gr.Accordion("📙 Citation", open=False):
-            citation_button = gr.Textbox(
-                value=CITATION_BUTTON_TEXT,
-                label=CITATION_BUTTON_LABEL,
-                lines=20,
-                elem_id="citation-button",
-                show_copy_button=True,
-            )
-
-scheduler = BackgroundScheduler()
-scheduler.add_job(restart_space, "interval", seconds=1800)
-scheduler.start()
-demo.queue(default_concurrency_limit=40).launch()