Update README.md

README.md

@@ -246,6 +246,21 @@ print(question, response)
 # 2. 熊猫的皮毛颜色和图案不同：红熊猫的皮毛是橙红色，脸部、耳朵和四肢的末端有白色斑块；而大熊猫的皮毛是黑白相间的，眼睛、耳朵和四肢的末端是黑色的，脸部、耳朵内侧和身体其他部分是白色的。
 # 3. 熊猫的姿态和位置不同：红熊猫坐在一个木制的结构上，而大熊猫坐在地上。
 # 4. 背景中的植被和环境细节略有不同，但都包含树木和竹子。
+
+# batch inference
+pixel_values1 = load_image('./examples/image1.jpg', max_num=6).to(torch.bfloat16).cuda()
+pixel_values2 = load_image('./examples/image2.jpg', max_num=6).to(torch.bfloat16).cuda()
+image_counts = [pixel_values1.size(0), pixel_values2.size(0)]
+pixel_values = torch.cat((pixel_values1, pixel_values2), dim=0)
+
+questions = ["Describe the image in detail."] * len(image_counts)
+responses = model.batch_chat(tokenizer, pixel_values,
+                             image_counts=image_counts,
+                             questions=questions,
+                             generation_config=generation_config)
+for question, response in zip(questions, responses):
+    print(question)
+    print(response)
 ```
 
 ## Citation