import ctypes from pathlib import Path import llama_cpp from llama_cpp import Llama @llama_cpp.llama_log_callback def quiet_llama_log(level, text, user_data): return def create_llm(model_path, context_size): llama_cpp.llama_log_set(quiet_llama_log, ctypes.c_void_p()) return Llama( model_path=str(Path(model_path)), n_ctx=context_size, verbose=False )