请问RTX 4090能跑这个吗？Can RTX 4090 run this?
#5
by feixusxl - opened
如题
As the title
单卡的情况下，4090魔改48G可以
我已经买了双卡魔改4090 48G了，过几天告诉你结果
我已经买了双卡魔改4090 48G了，过几天告诉你结果
一张就够
我已经买了双卡魔改4090 48G了，过几天告诉你结果
一张就够
那按你意思，Qwen/Qwen3-VL-32B-Instruct-FP8岂不是轻轻松松
我已经买了双卡魔改4090 48G了，过几天告诉你结果
一张就够
那按你意思，Qwen/Qwen3-VL-32B-Instruct-FP8岂不是轻轻松松
可以，但单卡情况下要注意上下文大小，还有就是32B dense推理速度不及MoE