GPQA复现上出现问题
#30
by BShooter - opened
您好！非常感谢您的工作！我使用您提到的分支构建了环境，并使用temperature0.6+top-p0.95+256的方式尝试复现GPQA，但每次都只能达到70-75分的水平，且存在重复率较高，速度较慢的问题，请问您这边可以提供您使用的prompt模板或者更多细节吗？
我们这边按照model card中的配置可以正常复现GPQA结果。目前的结果差异，应该是评测或推理配置没有完全对齐。
首先请按照model card中的SGLang版本安装环境，并在启动模型服务时配置--reasoning-parser nanbeige。
测试时无system prompt（默认system prompt）、无few-shot。模板如下：
Answer the following multiple choice question. The last line of your response should be of the following format: 'Answer: $LETTER' (without quotes) where LETTER is one of ABCD. Think step by step before answering.
{Question}
A) {A}
B) {B}
C) {C}
D) {D}
请求参数如下：
{
"messages": [
{
"role": "user",
"content": "<上面的完整 prompt>"
}
],
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"max_tokens": 98304,
"stream": false,
"chat_template_kwargs": {
"enable_thinking": true
}
}
好的！十分感谢您的回复，我再根据您提供的配置进行尝试。