Update app.py

app.py

@@ -5,8 +5,7 @@ import os
 from huggingface_hub import hf_hub_download
 import base64
 from llama_cpp import Llama
-from llama_cpp.llama_chat_format import LlamaChatCompletionHandler
-
+from llama_cpp.llama_tokenizer import LlamaHFTokenizer
 
 os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
 MODEL_LIST = ["openbmb/MiniCPM-Llama3-V-2_5","openbmb/MiniCPM-Llama3-V-2_5-int4"]
@@ -27,7 +26,7 @@ CSS = """
 }
 """
 
-chat_handler = LlamaChatCompletionHandler.from_pretrained(
+tokenizer = LlamaHFTokenizer.from_pretrained(
     repo_id="openbmb/MiniCPM-Llama3-V-2_5-gguf",
     filename="*mmproj*",
 )
@@ -35,7 +34,7 @@ chat_handler = LlamaChatCompletionHandler.from_pretrained(
 llm = Llama.from_pretrained(
   repo_id="openbmb/MiniCPM-Llama3-V-2_5-gguf",
   filename="ggml-model-Q5_K_M.gguf",
-  chat_handler=chat_handler,
+  tokenizer=tokenizer,
   n_ctx=4096,
   verbose=True
 )