hellokawei commited on
Commit
0fd019c
·
verified ·
1 Parent(s): 5cbb2e9

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +29 -0
app.py CHANGED
@@ -44,6 +44,35 @@ GRACE 框架是一个多维度评估框架,用于全面衡量 LLM 在特定任
44
  ![GRACE 详细对比示例](image_6b5a12.png)
45
 
46
  ## 5. 部署与提交问题
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
47
 
48
  在开发和部署 LLM 基准测试系统时,常遇到“模型未找到”(因私有性或访问权限问题)和 `trust_remote_code=True` 安全警告(平台出于安全考虑拒绝自动提交此类模型) 两类问题。解决方案是选择公开可用的模型,并避免使用需要 `trust_remote_code=True` 的模型进行平台提交。
49
 
 
44
  ![GRACE 详细对比示例](image_6b5a12.png)
45
 
46
  ## 5. 部署与提交问题
47
+ 成员 A:系统架构与模型集成
48
+ 负责内容:
49
+
50
+ 设计TranslationComparator类,完成 Opus-MT、T5-Small、mBART-Large 三个模型的加载与管理,处理模型输入格式差异(如 T5-Small 的任务前缀、mBART 的源语言指定)。
51
+ 实现翻译核心逻辑translate_text函数,集成推理时间计算、Token 统计等性能指标记录。
52
+ 解决模型加载异常问题,设计 fallback 机制(如模型未找到时返回模拟翻译结果)。
53
+
54
+ 学到的内容:
55
+
56
+ Hugging Face Transformers 库的底层原理,掌握pipeline接口在多模型场景下的参数定制(如src_lang、max_length)。
57
+ CPU 推理环境下的内存优化策略,通过torch.float32降低精度需求,避免大型模型(如 mBART)加载时的显存溢出。
58
+ 跨模型兼容性处理,例如不同模型对输入文本格式的特殊要求(任务前缀、语言代码指定)。
59
+
60
+ 遇到的困难:
61
+
62
+ mBART-Large 模型因多语言参数导致的加载耗时问题,最终通过预加载机制和异步处理缓解。
63
+ 模型推理速度差异大(如 T5-Small 与 mBART 的效率对比),需在代码中平衡实时响应与翻译质量。
64
+ 成员 B:前端开发与评估可视化
65
+ 负责内容:
66
+
67
+ 基于 Gradio 构建交互式界面,设计 “翻译竞技场” 和 “GRACE 基准测试” 双模块,实现用户输入、模型输出展示及参数调节功能。
68
+ 开发 GRACE 评估可视化组件,包括雷达图(create_translation_radar_chart)、柱状图(create_performance_bar_chart)及数据表格。
69
+ 整合示例文本功能与动态布局,优化响应式设计以适配不同设备。
70
+
71
+ 学到的内容:
72
+
73
+ Gradio 框架的组件嵌套逻辑(Blocks/Tab/Row),掌握事件监听(如按钮点击、滑块调节)与数据绑定机制。
74
+ Plotly 图表开发技巧,例如雷达图中多模型曲线的颜色编码、分组柱状图的维度映射。
75
+ 前端数据格式化处理,将模型翻译结果转换为 JSON 格式并在 Code 组件中高亮展示。
76
 
77
  在开发和部署 LLM 基准测试系统时,常遇到“模型未找到”(因私有性或访问权限问题)和 `trust_remote_code=True` 安全警告(平台出于安全考虑拒绝自动提交此类模型) 两类问题。解决方案是选择公开可用的模型,并避免使用需要 `trust_remote_code=True` 的模型进行平台提交。
78