Upload 2 files

README.md

@@ -1,11 +1,17 @@
-# 2025年6月20日 更新说明
+# 2025年6月26日 更新说明
 
-本项目旨在解决Qwen3-Reranker-4B模型无法通过Vllm平台直接部署的问题。
+ ·本项目旨在解决Qwen3-Reranker-4B模型无法通过Vllm平台直接部署的问题。
 
-自从Qwen3-Reranker系列模型发布以来，迅速在向量模型和重排模型中掀起了使用热潮，但遗憾的是，无法正常使用Vllm部署Qwen3-Reranker-4B模型，截止目前，Vllm官方也没有更新补丁支持，预计官方最快在Vllm v0.9.2中才支持Qwen3-Reranker。作为过渡，于是做了这个版本供大家暂时使用。
+ ·采用vllm最新的开发版制作了Docker镜像dengcao/vllm-openai : v0.9.2-dev，经测试正常，可放心使用。
+ 
+ ·修复了Qwen3-Reranker-4B排序结果可能不准确的问题。
+ 
+ ### 注意：2025年6月26日之前已下载本项目的，请删除对应的docker容器和文件后重新使用此方法部署，即可完美在Vllm上运行Qwen3-Reranker-4B模型。
 
-### 注意：2025年6月20日之前已下载本项目的，请删除后重新使用此方法部署，即可完美在Vllm上运行Qwen3-Reranker-4B模型。
 
+# 2025年6月20日 更新说明
+
+自从Qwen3-Reranker系列模型发布以来，迅速在向量模型和重排模型中掀起了使用热潮，但遗憾的是，无法正常使用Vllm部署Qwen3-Reranker-4B模型，截止目前，Vllm官方也没有更新补丁支持，预计官方最快在Vllm v0.9.2中才支持Qwen3-Reranker。作为过渡，于是做了这个版本供大家暂时使用。
 
 ## Docker desktop（Windows用户）使用方法如下：
 

docker-compose.yaml

@@ -1,20 +1,18 @@
-services:  
-  Qwen3-Reranker-4B:
-    container_name: Qwen3-Reranker-4B
-    restart: no
-    #image: vllm/vllm-openai:v0.9.0.1 #经测试v0.9.0.1也可以正常启动，但为了保持兼容性采用最新版v0.9.1
-    image: vllm/vllm-openai:v0.9.1
-    ipc: host
-    volumes:
-      - ./models:/models
-      - ./model_executor/models/:/usr/local/lib/python3.12/dist-packages/vllm/model_executor/models/
-    command: ['--model', '/models/Qwen3-Reranker-4B',  '--served-model-name', 'Qwen3-Reranker-4B',  '--gpu-memory-utilization', '0.90']
-    ports:
-      - 8011:8000
-    deploy:
-      resources:
-        reservations:
-          devices:
-            - driver: nvidia
-              count: all
-              capabilities: [gpu]
+services:  
+  Qwen3-Reranker-4B:
+    container_name: Qwen3-Reranker-4B
+    restart: no
+    image: dengcao/vllm-openai:v0.9.2-dev #采用vllm最新的开发版制作的镜像，经在NVIDIA RTX3060平台主机上测试正常，可放心使用
+    ipc: host
+    volumes:
+      - ./models:/models
+    command: ['--model', '/models/Qwen3-Reranker-4B',  '--served-model-name', 'Qwen3-Reranker-4B',  '--gpu-memory-utilization', '0.90', '--hf_overrides','{"architectures": ["Qwen3ForSequenceClassification"],"classifier_from_token": ["no", "yes"],"is_original_qwen3_reranker": true}']
+    ports:
+      - 8011:8000
+    deploy:
+      resources:
+        reservations:
+          devices:
+            - driver: nvidia
+              count: all
+              capabilities: [gpu]