openai_api_server.py可以多卡启动吗
#91
by RoboTerh - opened
直接使用python openai_api_server.py运行示例程序启动API服务，占用的是单卡显存，在调用langgraph图的时候会显出显存不足的报错
查看了API服务启动的代码，其中存在下图设置显卡数量的标识
将其设置为2，重新启动API服务，在两张显卡上均占用了相同显存，之后调用langgraph图是仍会出现显存不足的报错，且只使用了单卡的显存
有什么更好的解决方案使得在单张显存不充裕的情况下使用吗，谢谢
你这个多张显卡是多少呢，如果你显存不够，建议用transformers的底座启动，能让没张卡平均负载在到13G左右，但是调用token多了以后kvcache仍然很占用显存。
For those asking about API access — I've been using Crazyrouter as a unified gateway. One API key, OpenAI SDK compatible. Works well for testing different models without managing multiple accounts.