hellokawei commited on
Commit
f6cbb7d
·
verified ·
1 Parent(s): abe51ca

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +35 -1
app.py CHANGED
@@ -45,7 +45,41 @@ GRACE 框架是一个多维度评估框架,用于全面衡量 LLM 在特定任
45
  * **GRACE 详细性能对比柱状图**: (下图为报告生成时的示例)
46
 
47
 
48
- ## 5. 部署与提交问题
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
49
 
50
  在开发和部署 LLM 基准测试系统时,常遇到“模型未找到”(因私有性或访问权限问题)和 `trust_remote_code=True` 安全警告(平台出于安全考虑拒绝自动提交此类模型) 两类问题。解决方案是选择公开可用的模型,并避免使用需要 `trust_remote_code=True` 的模型进行平台提交。
51
 
 
45
  * **GRACE 详细性能对比柱状图**: (下图为报告生成时的示例)
46
 
47
 
48
+ ## 5. 收获
49
+ 成员 A:系统架构与模型集成
50
+ 负责内容:
51
+
52
+ 设计TranslationComparator类,完成 Opus-MT、T5-Small、mBART-Large 三个模型的加载与管理,处理模型输入格式差异(如 T5-Small 的任务前缀、mBART 的源语言指定)。
53
+ 实现翻译核心逻辑translate_text函数,集成推理时间计算、Token 统计等性能指标记录。
54
+ 解决模型加载异常问题,设计 fallback 机制(如模型未找到时返回模拟翻译结果)。
55
+
56
+ 学到的内容:
57
+
58
+ Hugging Face Transformers 库的底层原理,掌握pipeline接口在多模型场景下的参数定制(如src_lang、max_length)。
59
+ CPU 推理环境下的内存优化策略,通过torch.float32降低精度需求,避免大型模型(如 mBART)加载时的显存溢出。
60
+ 跨模型兼容性处理,例如不同模型对输入文本格式的特殊要求(任务前缀、语言代码指定)。
61
+
62
+ 遇到的困难:
63
+
64
+ mBART-Large 模型因多语言参数导致的加载耗时问题,最终通过预加载机制和异步处理缓解。
65
+ 模型推理速度差异大(如 T5-Small 与 mBART 的效率对比),需在代码中平衡实时响应与翻译质量。
66
+ 成员 B:前端开发与评估可视化
67
+ 负责内容:
68
+
69
+ 基于 Gradio 构建交互式界面,设计 “翻译竞技场” 和 “GRACE 基准测试” 双模块,实现用户输入、模型输出展示及参数调节功能。
70
+ 开发 GRACE 评估可视化组件,包括雷达图(create_translation_radar_chart)、柱状图(create_performance_bar_chart)及数据表格。
71
+ 整合示例文本功能与动态布局,优化响应式设计以适配不同设备。
72
+
73
+ 学到的内容:
74
+
75
+ Gradio 框架的组件嵌套逻辑(Blocks/Tab/Row),掌握事件监听(如按钮点击、滑块调节)与数据绑定机制。
76
+ Plotly 图表开发技巧,例如雷达图中多模型曲线的颜色编码、分组柱状图的维度映射。
77
+ 前端数据格式化处理,将模型翻译结果转换为 JSON 格式并在 Code 组件中高亮展示。
78
+
79
+ 遇到的困难:
80
+
81
+ 多模型翻译结果同时渲染时的界面卡顿问题,通过分批加载和虚拟滚动技术优化。
82
+ 雷达图中评估维度(泛化性、准确性等)的视觉权重平衡,需反复调整坐标轴范围与标签显示策略。
83
 
84
  在开发和部署 LLM 基准测试系统时,常遇到“模型未找到”(因私有性或访问权限问题)和 `trust_remote_code=True` 安全警告(平台出于安全考虑拒绝自动提交此类模型) 两类问题。解决方案是选择公开可用的模型,并避免使用需要 `trust_remote_code=True` 的模型进行平台提交。
85