Spaces:
Sleeping
Sleeping
| """ | |
| # 大型语言模型 (LLM) 翻译能力对比评估报告 | |
| ## 1. 引言与实验目标 | |
| 本报告旨在展示一个基于 Gradio 构建的 LLM 翻译能力评估系统，该系统实现了用户输入、多模型输出展示，并结合 GRACE 框架对模型进行多维度分析。本实验聚焦于**中文到英文的翻译任务**，目标是选取并对比 **3 个不同模型**在此任务中的表现，并通过 Gradio 界面实现用户输入与多模型输出展示。此外，还将结合 GRACE 框架对模型进行维度分析。 | |
| ## 2. GRACE 评估框架 | |
| GRACE 框架是一个多维度评估框架，用于全面衡量 LLM 在特定任务中的性能。在本次翻译任务的评估中，我们选择了以下 5 个维度： | |
| * **G: Generalization (泛化性)**：模型处理不同领域、风格、复杂度的文本并准确翻译的能力。 | |
| * **R: Relevance (相关性)**：翻译内容与原文语义和上下文的匹配程度。 | |
| * **A: Accuracy (准确性)**：翻译的精确性和无误性，包括语法、词汇和句法结构的正确性。 | |
| * **C: Consistency (一致性)**：相同或类似输入文本在不同时间或上下文中的翻译稳定性。 | |
| * **E: Efficiency (效率性)**：翻译速度和所需的计算资源。 | |
| ## 3. 系统设计与模型选择 | |
| 系统采用 Gradio 构建前端界面，后端利用 Hugging Face Transformers 库加载和运行模型，并结合 Pandas、Plotly 和 NumPy 进行数据处理与可视化。我们选择了三个中文到英文的翻译模型进行对比： | |
| 1. **Chinese-to-English (Opus-MT)**: 使用 `Helsinki-NLP/opus-mt-zh-en`，这是一个约 3 亿参数、1.2GB 大小的专门翻译模型，预期在中文到英文翻译上具有较高准确性和流畅性。 | |
| 2. **Chinese-to-English (T5-Small)**: 使用 `google-t5/t5-small`，这是一个约 6 千万参数、240MB 大小的通用文本到文本模型，其主要优势在于尺寸小、推理效率高，但在翻译时需要将输入格式化为 `"translate Chinese to English: <text>"`. | |
| 3. **Chinese-to-English (mBART-Large)**: 使用 `facebook/mbart-large-50-one-to-many-mmt`，这是一个约 6 亿参数、2.4GB 大小的多语言翻译模型，泛化能力强，但需要为其指定源语言（`zh_CN`）。 | |
| 在 `TranslationComparator` 类中，模型通过 `transformers.pipeline("translation")` 加载。`translate_text` 函数负责接收中文文本，并根据模型需求（如 T5-Small）进行输入格式化处理，然后调用相应模型进行翻译，记录推断时间及输出信息。 | |
| ## 4. 实验结果与分析 | |
| 三个模型均成功加载并运行。在实际翻译中，专门模型（Opus-MT）和大型多语言模型（mBART）通常提供更高质量的翻译；T5-Small 则以其小尺寸和高效率见长。 | |
| **GRACE 评估模拟结果 (数据来源于代码中的模拟分数):** | |
| | 模型 | 泛化性 | 相关性 | 准确性 | 一致性 | 效率性 | 平均分 | | |
| | :------------------------------- | :----- | :----- | :----- | :----- | :----- | :----- | | |
| | Chinese-to-English (Opus-MT) | 7.8 | 8.3 | 8.0 | 7.9 | 7.5 | 7.90 | | |
| | Chinese-to-English (T5-Small) | 6.8 | 7.0 | 6.5 | 6.8 | 9.0 | 7.22 | | |
| | Chinese-to-English (mBART-Large) | 8.5 | 8.6 | 8.4 | 8.2 | 6.0 | 7.94 | | |
| 从模拟数据中可以看出，Opus-MT 和 mBART 在翻译质量维度得分更高，其中 mBART 在泛化性上表现最佳。T5-Small 则在**效率性**上表现突出（9.0分）。在参数量和模型大小上，T5-Small 显著优于其他两者，在资源受限场景下更具优势。 | |
| **可视化示例 (由下方应用实时生成):** | |
| * **GRACE 雷达图**: (下图为报告生成时的示例) | |
| * **GRACE 详细性能对比柱状图**: (下图为报告生成时的示例) | |
| ## 5. 部署与提交问题 | |
| 在开发和部署 LLM 基准测试系统时，常遇到“模型未找到”（因私有性或访问权限问题）和 `trust_remote_code=True` 安全警告（平台出于安全考虑拒绝自动提交此类模型） 两类问题。解决方案是选择公开可用的模型，并避免使用需要 `trust_remote_code=True` 的模型进行平台提交。 | |
| ## 6. 结论与展望 | |
| 本项目成功构建了一个中文到英文翻译模型对比评估系统，并利用 GRACE 框架对 Opus-MT、T5-Small 和 mBART-Large 进行了多维度分析。结果显示，专门和大型模型在质量上表现优异，而小型通用模型在效率上优势明显。未来可引入真实用户评估、集成更高级的量化评估指标（如 BLEU、ROUGE）、扩展模型库以及优化 GPU 环境下的性能，以提升评估的全面性和准确性。 | |
| """ | |
| import gradio as gr | |
| import pandas as pd | |
| import plotly.graph_objects as go | |
| import plotly.express as px | |
| import time | |
| import numpy as np | |
| from transformers import pipeline | |
| import torch | |
| import json | |
| # --- 模型配置 --- | |
| # 增加了第三个模型 (mBART)，并使用 pipeline_args 和 prefix 来处理模型间的差异，使代码更具扩展性。 | |
| MODEL_CONFIGS = { | |
| "Chinese-to-English (Opus-MT)": { | |
| "model_name": "Helsinki-NLP/opus-mt-zh-en", | |
| "description": "专门的中英翻译模型 (Helsinki-NLP OPUS-MT)，在翻译任务上表现稳定。", | |
| "max_length": 200, | |
| "color": "#FF6B6B", | |
| "prefix": None, # 此模型不需要特殊前缀 | |
| "pipeline_args": {} # 无需特殊参数 | |
| }, | |
| "Chinese-to-English (T5-Small)": { | |
| "model_name": "google-t5/t5-small", | |
| "description": "通用的文本到文本模型 (Google T5-Small)，尺寸小、推理效率高。", | |
| "max_length": 200, | |
| "color": "#4ECDC4", | |
| "prefix": "translate Chinese to English: {}", # T5 需要任务前缀 | |
| "pipeline_args": {} | |
| }, | |
| "Chinese-to-English (mBART-Large)": { | |
| "model_name": "facebook/mbart-large-50-one-to-many-mmt", | |
| "description": "大型多语言翻译模型 (Facebook mBART-Large-50)，支持50种语言。", | |
| "max_length": 200, | |
| "color": "#45B7D1", | |
| "prefix": None, | |
| "pipeline_args": {"src_lang": "zh_CN", "tgt_lang": "en_XX"} # mBART 需要指定源语言 | |
| } | |
| } | |
| class TranslationComparator: | |
| def __init__(self): | |
| self.models = {} | |
| self.load_models() | |
| def load_models(self): | |
| """加载所有翻译模型""" | |
| print("正在加载翻译模型...") | |
| for model_key, config in MODEL_CONFIGS.items(): | |
| try: | |
| print(f"加载 {model_key} ({config['model_name']})...") | |
| # 从配置中获取特定于 pipeline 的参数 | |
| pipeline_args = config.get("pipeline_args", {}) | |
| # 使用 pipeline("translation", ...) 并传入特殊参数 | |
| self.models[model_key] = pipeline( | |
| "translation", | |
| model=config["model_name"], | |
| tokenizer=config["model_name"], | |
| device=-1, # 使用CPU，避免GPU内存不足问题 | |
| torch_dtype=torch.float32, | |
| **pipeline_args | |
| ) | |
| print(f"✓ {model_key} 加载成功") | |
| except Exception as e: | |
| print(f"✗ {model_key} 加载失败: {e}") | |
| self.models[model_key] = None | |
| def translate_text(self, model_key, text_to_translate, max_length=200): | |
| """使用指定模型进行翻译""" | |
| model_entry = self.models.get(model_key) | |
| config = MODEL_CONFIGS[model_key] | |
| if model_entry is None: | |
| return { | |
| "translated_text": f"[模型 {model_key} 未正确加载，这是一个模拟翻译]", | |
| "inference_time": 0.5, | |
| "input_length": len(text_to_translate.split()), | |
| "output_length": 50, | |
| "parameters": {"max_length": max_length} | |
| } | |
| try: | |
| start_time = time.time() | |
| # 根据配置对输入文本进行格式化（例如为T5添加前缀） | |
| text_for_model = text_to_translate | |
| if config.get("prefix"): | |
| text_for_model = config["prefix"].format(text_to_translate) | |
| # 调用已配置好的 pipeline | |
| result = model_entry(text_for_model, max_length=max_length) | |
| end_time = time.time() | |
| translated_text = result[0]['translation_text'] | |
| return { | |
| "translated_text": translated_text, | |
| "inference_time": round(end_time - start_time, 3), | |
| "input_length": len(text_to_translate.split()), | |
| "output_length": len(translated_text.split()), | |
| "parameters": {"max_length": max_length} | |
| } | |
| except Exception as e: | |
| return { | |
| "error": f"翻译错误: {str(e)}", | |
| "inference_time": 0, | |
| "input_length": 0, | |
| "output_length": 0 | |
| } | |
| # 初始化比较器 | |
| comparator = TranslationComparator() | |
| def run_translation_comparison(zh_prompt, max_length): | |
| """运行所有中文到英文模型的翻译对比""" | |
| if not zh_prompt.strip(): | |
| return tuple([gr.Code(value=json.dumps({"错误信息": "请输入中文文本进行翻译"}, ensure_ascii=False)) for _ in MODEL_CONFIGS]) | |
| outputs_list = [] | |
| for model_key in MODEL_CONFIGS.keys(): | |
| result = comparator.translate_text( | |
| model_key, | |
| zh_prompt, | |
| max_length=int(max_length) | |
| ) | |
| if "error" in result: | |
| outputs_list.append(json.dumps({"错误信息": result["error"]}, indent=2, ensure_ascii=False)) | |
| else: | |
| formatted = { | |
| "翻译文本": result["translated_text"], | |
| "推断时间": f"{result['inference_time']}s", | |
| "翻译Token数": result["output_length"], | |
| "翻译速度": f"{result['output_length']/max(result['inference_time'], 0.001):.1f} tokens/s" | |
| } | |
| outputs_list.append(json.dumps(formatted, indent=2, ensure_ascii=False)) | |
| return tuple(outputs_list) | |
| def calculate_grace_scores_for_translation(): | |
| """为翻译任务计算GRACE评估分数""" | |
| grace_data = { | |
| "Chinese-to-English (Opus-MT)": { | |
| "Generalization": 7.8, "Relevance": 8.3, "Accuracy": 8.0, "Consistency": 7.9, "Efficiency": 7.5 | |
| }, | |
| "Chinese-to-English (T5-Small)": { | |
| "Generalization": 6.8, "Relevance": 7.0, "Accuracy": 6.5, "Consistency": 6.8, "Efficiency": 9.0 | |
| }, | |
| # 为新增的 mBART 模型添加模拟分数 | |
| "Chinese-to-English (mBART-Large)": { | |
| "Generalization": 8.5, "Relevance": 8.6, "Accuracy": 8.4, "Consistency": 8.2, "Efficiency": 6.0 | |
| } | |
| } | |
| return grace_data | |
| def create_translation_radar_chart(): | |
| """创建翻译GRACE评估雷达图""" | |
| grace_scores = calculate_grace_scores_for_translation() | |
| categories = ['Generalization', 'Relevance', 'Accuracy', 'Consistency', 'Efficiency'] | |
| fig = go.Figure() | |
| for model_name, scores in grace_scores.items(): | |
| values = [scores[cat] for cat in categories] | |
| color = MODEL_CONFIGS[model_name]["color"] | |
| fig.add_trace(go.Scatterpolar( | |
| r=values, theta=categories, fill='toself', name=model_name, | |
| line_color=color, fillcolor=color, opacity=0.6 | |
| )) | |
| fig.update_layout( | |
| polar=dict(radialaxis=dict(visible=True, range=[0, 10], tickfont=dict(size=10))), | |
| showlegend=True, | |
| title={'text': "GRACE框架：中文到英文翻译模型评估", 'x': 0.5, 'font': {'size': 16}}, | |
| width=600, height=500 | |
| ) | |
| return fig | |
| def create_performance_bar_chart(): | |
| """创建性能对比柱状图""" | |
| grace_scores = calculate_grace_scores_for_translation() | |
| models = list(grace_scores.keys()) | |
| categories = ['Generalization', 'Relevance', 'Accuracy', 'Consistency', 'Efficiency'] | |
| # 确保颜色列表足够长 | |
| colors = [config["color"] for config in MODEL_CONFIGS.values()] | |
| fig = go.Figure() | |
| for i, category in enumerate(categories): | |
| values = [grace_scores[model][category] for model in models] | |
| fig.add_trace(go.Bar( | |
| name=category, x=models, y=values, | |
| marker_color=px.colors.qualitative.Plotly[i % len(px.colors.qualitative.Plotly)], | |
| opacity=0.8 | |
| )) | |
| fig.update_layout( | |
| title='GRACE框架详细对比 - 中文到英文翻译', | |
| xaxis_title='模型', yaxis_title='分数 (0-10)', barmode='group', | |
| width=700, height=400 | |
| ) | |
| return fig | |
| def create_model_info_table(): | |
| """创建模型信息对比表""" | |
| model_info = [] | |
| for model_key, config in MODEL_CONFIGS.items(): | |
| params, size = "未知", "未知" | |
| if "opus-mt-zh-en" in config["model_name"]: | |
| params, size = "~3亿", "~1.2GB" | |
| elif "t5-small" in config["model_name"]: | |
| params, size = "~6千万", "~240MB" | |
| elif "mbart-large-50" in config["model_name"]: | |
| params, size = "~6.1亿", "~2.4GB" | |
| model_info.append({ | |
| "模型": model_key, "参数量": params, "模型大小": size, | |
| "描述": config["description"], "最大输出长度": config["max_length"] | |
| }) | |
| return pd.DataFrame(model_info) | |
| def create_summary_scores_table(): | |
| """创建评分摘要表""" | |
| grace_scores = calculate_grace_scores_for_translation() | |
| summary_data = [] | |
| for model_name, scores in grace_scores.items(): | |
| avg_score = np.mean(list(scores.values())) | |
| row = {"模型": model_name} | |
| row.update(scores) | |
| row["平均分"] = round(avg_score, 2) | |
| summary_data.append(row) | |
| df = pd.DataFrame(summary_data) | |
| # 重新排列列以确保一致性 | |
| cols = ["模型", "泛化性", "相关性", "准确性", "一致性", "效率性", "平均分"] | |
| return df[cols] | |
| # 预设的示例中文提示 | |
| EXAMPLE_ZH_PROMPTS = [ | |
| "你好，今天过得怎么样？", | |
| "敏捷的棕色狐狸跳过懒惰的狗。", | |
| "人工智能正在改变许多行业。", | |
| "今天天气真好，我们去公园散步吧。" | |
| ] | |
| def create_app(): | |
| with gr.Blocks(title="中文到英文翻译模型对比", theme=gr.themes.Soft()) as app: | |
| gr.Markdown("# 🌐 中文到英文翻译模型对比竞技场") | |
| gr.Markdown("### 使用GRACE框架对比不同中文到英文翻译模型在翻译任务中的表现") | |
| with gr.Tabs(): | |
| # Arena选项卡 | |
| with gr.TabItem("️⚔️ 翻译竞技场"): | |
| gr.Markdown("## 翻译竞技场") | |
| gr.Markdown("请在下方输入需要翻译的**中文**文本，查看不同模型翻译成**英文**的效果。") | |
| with gr.Row(): | |
| with gr.Column(scale=2): | |
| input_zh_prompt = gr.Textbox( | |
| label="输入中文文本", placeholder="在此输入您的中文文本...", | |
| lines=4, value=EXAMPLE_ZH_PROMPTS[0] | |
| ) | |
| with gr.Row(): | |
| for i, example in enumerate(EXAMPLE_ZH_PROMPTS): | |
| gr.Button(f"示例 {i+1}", size="sm").click( | |
| fn=lambda x=example: x, outputs=[input_zh_prompt] | |
| ) | |
| with gr.Column(scale=1): | |
| max_length = gr.Slider( | |
| minimum=50, maximum=500, value=200, step=10, label="最大输出Token数" | |
| ) | |
| # 修正按钮文本前的空格 | |
| submit_btn = gr.Button("开始翻译", variant="primary", size="lg") | |
| # 动态创建输出框 | |
| with gr.Row(): | |
| output_boxes = [] | |
| for model_key in MODEL_CONFIGS.keys(): | |
| output_boxes.append(gr.Code( | |
| label=f"{model_key} 翻译结果", language="json", | |
| value="点击“开始翻译”查看结果" | |
| )) | |
| submit_btn.click( | |
| fn=run_translation_comparison, | |
| inputs=[input_zh_prompt, max_length], | |
| outputs=output_boxes | |
| ) | |
| # Benchmark选项卡 | |
| with gr.TabItem("📊 GRACE 基准测试"): | |
| gr.Markdown("## GRACE框架对翻译的评估") | |
| gr.Markdown(""" | |
| **GRACE框架在翻译中的维度定义：** | |
| - **G**eneralization (泛化性): 模型处理不同领域、风格和复杂度的文本并进行准确翻译的能力。 | |
| - **R**elevance (相关性): 翻译内容在语义和上下文上与原文的匹配程度。 | |
| - **A**ccuracy (准确性): 翻译的精确性和无误性，包括语法、词汇和句法结构的正确性。 | |
| - **C**onsistency (一致性): 对相同或类似输入文本在不同时间或不同上下文中的翻译稳定性。 | |
| - **E**fficiency (效率性): 翻译速度和所需的计算资源（如内存和CPU/GPU使用）。 | |
| """) | |
| with gr.Row(): | |
| gr.Plot(value=create_translation_radar_chart, label="GRACE 雷达图") | |
| gr.Plot(value=create_performance_bar_chart, label="详细性能对比") | |
| with gr.Row(): | |
| gr.Dataframe(value=create_summary_scores_table, label="GRACE 评分摘要", interactive=False) | |
| with gr.Row(): | |
| gr.Dataframe(value=create_model_info_table, label="模型信息", interactive=False) | |
| return app | |
| # 创建并启动 Gradio 应用 | |
| if __name__ == "__main__": | |
| app = create_app() | |
| app.launch() |