models/llm_model.py

import ctypes
from pathlib import Path

import llama_cpp
from llama_cpp import Llama


@llama_cpp.llama_log_callback
def quiet_llama_log(level, text, user_data):
    return


def create_llm(model_path, context_size):
    llama_cpp.llama_log_set(quiet_llama_log, ctypes.c_void_p())
    return Llama(
        model_path=str(Path(model_path)),
        n_ctx=context_size,
        verbose=False
    )