Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -44,6 +44,35 @@ GRACE 框架是一个多维度评估框架,用于全面衡量 LLM 在特定任
|
|
| 44 |

|
| 45 |
|
| 46 |
## 5. 部署与提交问题
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 47 |
|
| 48 |
在开发和部署 LLM 基准测试系统时,常遇到“模型未找到”(因私有性或访问权限问题)和 `trust_remote_code=True` 安全警告(平台出于安全考虑拒绝自动提交此类模型) 两类问题。解决方案是选择公开可用的模型,并避免使用需要 `trust_remote_code=True` 的模型进行平台提交。
|
| 49 |
|
|
|
|
| 44 |

|
| 45 |
|
| 46 |
## 5. 部署与提交问题
|
| 47 |
+
成员 A:系统架构与模型集成
|
| 48 |
+
负责内容:
|
| 49 |
+
|
| 50 |
+
设计TranslationComparator类,完成 Opus-MT、T5-Small、mBART-Large 三个模型的加载与管理,处理模型输入格式差异(如 T5-Small 的任务前缀、mBART 的源语言指定)。
|
| 51 |
+
实现翻译核心逻辑translate_text函数,集成推理时间计算、Token 统计等性能指标记录。
|
| 52 |
+
解决模型加载异常问题,设计 fallback 机制(如模型未找到时返回模拟翻译结果)。
|
| 53 |
+
|
| 54 |
+
学到的内容:
|
| 55 |
+
|
| 56 |
+
Hugging Face Transformers 库的底层原理,掌握pipeline接口在多模型场景下的参数定制(如src_lang、max_length)。
|
| 57 |
+
CPU 推理环境下的内存优化策略,通过torch.float32降低精度需求,避免大型模型(如 mBART)加载时的显存溢出。
|
| 58 |
+
跨模型兼容性处理,例如不同模型对输入文本格式的特殊要求(任务前缀、语言代码指定)。
|
| 59 |
+
|
| 60 |
+
遇到的困难:
|
| 61 |
+
|
| 62 |
+
mBART-Large 模型因多语言参数导致的加载耗时问题,最终通过预加载机制和异步处理缓解。
|
| 63 |
+
模型推理速度差异大(如 T5-Small 与 mBART 的效率对比),需在代码中平衡实时响应与翻译质量。
|
| 64 |
+
成员 B:前端开发与评估可视化
|
| 65 |
+
负责内容:
|
| 66 |
+
|
| 67 |
+
基于 Gradio 构建交互式界面,设计 “翻译竞技场” 和 “GRACE 基准测试” 双模块,实现用户输入、模型输出展示及参数调节功能。
|
| 68 |
+
开发 GRACE 评估可视化组件,包括雷达图(create_translation_radar_chart)、柱状图(create_performance_bar_chart)及数据表格。
|
| 69 |
+
整合示例文本功能与动态布局,优化响应式设计以适配不同设备。
|
| 70 |
+
|
| 71 |
+
学到的内容:
|
| 72 |
+
|
| 73 |
+
Gradio 框架的组件嵌套逻辑(Blocks/Tab/Row),掌握事件监听(如按钮点击、滑块调节)与数据绑定机制。
|
| 74 |
+
Plotly 图表开发技巧,例如雷达图中多模型曲线的颜色编码、分组柱状图的维度映射。
|
| 75 |
+
前端数据格式化处理,将模型翻译结果转换为 JSON 格式并在 Code 组件中高亮展示。
|
| 76 |
|
| 77 |
在开发和部署 LLM 基准测试系统时,常遇到“模型未找到”(因私有性或访问权限问题)和 `trust_remote_code=True` 安全警告(平台出于安全考虑拒绝自动提交此类模型) 两类问题。解决方案是选择公开可用的模型,并避免使用需要 `trust_remote_code=True` 的模型进行平台提交。
|
| 78 |
|