Qwen

/

Qwen3-Coder-Next

like 1.12k

Follow

Qwen 74.4k

我把模型转成了MLX mxfp8格式，gemini帮我测试了一下，虽然不太严谨，但是体感上16专家更胜一筹。
测试代码如下

import mlx.core as mx
from mlx_lm import load, generate

model_path = "./MLX-Qwen3-Coder-Next-mxfp8"

# 1. 加载模型（仅加载一次）
print("正在加载模型...")
model, tokenizer = load(model_path)

def test_config(top_k_value, test_prompt):
    print(f"\n{'='*20} 正在测试 num_experts_per_tok: {top_k_value} {'='*20}")
    
    # 2. 动态修改 MoE 专家激活数
    # Qwen 架构在 MLX 中的 MLP 层通常包含 num_experts_per_tok 属性
    for layer in model.model.layers:
        if hasattr(layer, 'mlp'):
            # 强制覆盖属性
            layer.mlp.num_experts_per_tok = top_k_value

    # 3. 极简调用，避开所有 temp/temperature 参数名冲突
    # mlx_lm 会使用默认的 top_p=1.0 和 temp=0.0 (greedy decoding)
    response = generate(
        model, 
        tokenizer, 
        prompt=test_prompt, 
        max_tokens=1024,
        verbose=True  # 实时显示生成过程
    )
    return response

# 编写一个更有难度的代码测试题，容易看出逻辑代差
test_prompt = """
请实现一个 Python 类 AsyncBuffer：
1. 初始化参数 max_size。
2. 实现 async def put(self, item) 和 async def get(self)。
3. 实现 async def close()。
4. 要求：
   - 缓冲区满时 put 阻塞，空时 get 阻塞。
   - close() 后，put 立即抛出异常。
   - close() 后，get 允许继续取走存量数据，直到取空。
   - 取空且已关闭后，所有 get 抛出 BufferClosed 异常。
   - 严禁使用 asyncio.Queue，请手动使用 asyncio.Condition 或 asyncio.Event 实现以展示底层逻辑。
"""

try:
    # 运行对比
    res_10 = test_config(10, test_prompt)
    print("\n\n")
    res_16 = test_config(16, test_prompt)
    
    print("\n" + "="*50)
    print("对比完成！请观察 num_experts_per_tok 从 10 变为 16 后，")
    print("代码的异常处理逻辑、注释完整度以及生成的流畅度。")
    print("="*50)

except Exception as e:
    print(f"\n运行中出错: {e}")