Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -1,3 +1,56 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
import gradio as gr
|
| 2 |
import pandas as pd
|
| 3 |
import plotly.graph_objects as go
|
|
|
|
| 1 |
+
"""
|
| 2 |
+
# 大型语言模型 (LLM) 翻译能力对比评估报告
|
| 3 |
+
|
| 4 |
+
## 1. 引言与实验目标
|
| 5 |
+
|
| 6 |
+
本报告旨在展示一个基于 Gradio 构建的 LLM 翻译能力评估系统,该系统实现了用户输入、多模型输出展示,并结合 GRACE 框架对模型进行多维度分析。本实验聚焦于**中文到英文的翻译任务**,目标是选取并对比 2 个不同模型在此任务中的表现,并通过 Gradio 界面实现用户输入与多模型输出展示。此外,还将结合 GRACE 框架对模型进行维度分析。
|
| 7 |
+
|
| 8 |
+
## 2. GRACE 评估框架
|
| 9 |
+
|
| 10 |
+
GRACE 框架是一个多维度评估框架,用于全面衡量 LLM 在特定任务中的性能。在本次翻译任务的评估中,我们选择了以下 5 个维度:
|
| 11 |
+
* **G: Generalization (泛化性)**:模型处理不同领域、风格、复杂度的文本并准确翻译的能力。
|
| 12 |
+
* **R: Relevance (相关性)**:翻译内容与原文语义和上下文的匹配程度。
|
| 13 |
+
* **A: Accuracy (准确性)**:翻译的精确性和无误性,包括语法、词汇和句法结构的正确性。
|
| 14 |
+
* **C: Consistency (一致性)**:相同或类似输入文本在不同时间或上下文中的翻译稳定性。
|
| 15 |
+
* **E: Efficiency (效率性)**:翻译速度和所需的计算资源。
|
| 16 |
+
|
| 17 |
+
## 3. 系统设计与模型选择
|
| 18 |
+
|
| 19 |
+
系统采用 Gradio 构建前端界面,后端利用 Hugging Face Transformers 库加载和运行模型,并结合 Pandas、Plotly 和 NumPy 进行数据处理与可视化。我们选择了两个中文到英文的翻译模型进行对比:
|
| 20 |
+
|
| 21 |
+
1. **Chinese-to-English (Opus-MT)**: 使用 `Helsinki-NLP/opus-mt-zh-en`,这是一个约 3 亿参数、1.2GB 大小的专门翻译模型,预期在中文到英文翻译上具有较高准确性和流畅性。
|
| 22 |
+
2. **Chinese-to-English (T5-Small)**: 使用 `google-t5/t5-small`,这是一个约 6 千万参数(60 Million)、240MB 大小的通用文本到文本模型,其主要优势在于尺寸小、推理效率高,但在翻译时需要将输入格式化为 `"translate Chinese to English: <text>"`.
|
| 23 |
+
|
| 24 |
+
在 `TranslationComparator` 类中,模型通过 `transformers.pipeline("translation")` 加载。`translate_text` 函数负责接收中文文本,并对 T5-Small 模型进行输入格式化处理,然后调用相应模型进行翻译,记录推断时间及输出信息。
|
| 25 |
+
|
| 26 |
+
## 4. 实验结果与分析
|
| 27 |
+
|
| 28 |
+
两个模型均成功加载并运行。在实际翻译中,Opus-MT 作为专门模型,通常提供更高质量和流畅的翻译;T5-Small 则以其小尺寸和高效率见长。
|
| 29 |
+
|
| 30 |
+
**GRACE 评估模拟结果 (数据来源于代码中的模拟分数):**
|
| 31 |
+
|
| 32 |
+
| 模型 | 泛化性 | 相关性 | 准确性 | 一致性 | 效率性 | 平均分 |
|
| 33 |
+
| :------------------------------- | :----- | :----- | :----- | :----- | :----- | :----- |
|
| 34 |
+
| Chinese-to-English (Opus-MT) | 7.8 | 8.3 | 8.0 | 7.9 | 7.5 | 7.90 |
|
| 35 |
+
| Chinese-to-English (T5-Small) | 6.8 | 7.0 | 6.5 | 6.8 | 9.0 | 7.22 |
|
| 36 |
+
|
| 37 |
+
从模拟数据中可以看出,Opus-MT 在翻译质量维度(泛化性、相关性、准确性、一致性)得分更高。T5-Small 则在**效率性**上表现突出(9.0分),但由于其通用性,翻译质量略低于专门模型。在参数量和模型大小上,T5-Small 显著优于 Opus-MT,在资源受限场景下更具优势。
|
| 38 |
+
|
| 39 |
+
**可视化示例:**
|
| 40 |
+
|
| 41 |
+
* **GRACE 雷达图**: 展示了模型在 GRACE 各维度的对比。
|
| 42 |
+

|
| 43 |
+
* **GRACE 详细性能对比柱状图**: 提供各维度分数的直观比较。
|
| 44 |
+

|
| 45 |
+
|
| 46 |
+
## 5. 部署与提交问题
|
| 47 |
+
|
| 48 |
+
在开发和部署 LLM 基准测试系统时,常遇到“模型未找到”(因私有性或访问权限问题)和 `trust_remote_code=True` 安全警告(平台出于安全考虑拒绝自动提交此类模型) 两类问题。解决方案是选择公开可用的模型,并避免使用需要 `trust_remote_code=True` 的模型进行平台提交。
|
| 49 |
+
|
| 50 |
+
## 6. 结论与展望
|
| 51 |
+
|
| 52 |
+
本项目成功构建了一个中文到英文翻译模型对比评估系统,并利用 GRACE 框架对 Opus-MT 和 T5-Small 进行了多维度分析。结果显示,专门翻译模型在质量上表现稳定,而小型通用模型在效率上优势明显。未来可引入真实用户评估、集成更高级的量化评估指标(如 BLEU、ROUGE)、扩展模型库以及优化 GPU 环境下的性能,以提升评估的全面性和准确性。
|
| 53 |
+
"""
|
| 54 |
import gradio as gr
|
| 55 |
import pandas as pd
|
| 56 |
import plotly.graph_objects as go
|