llama_runner.py

from langchain.llms import LlamaCpp
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain

llm = LlamaCpp(
    model_path="models/llama-2-7b.Q4_K_M.gguf",
    n_ctx=2048,
    temperature=0.3,
    verbose=False
)

template = """Riassumi il seguente documento. Poi estrai:

- Parole chiave

- Argomento principale

- Categoria (paper, tutorial, ricerca, codice)

- Eventuali date



Testo:

{text}



Restituisci in JSON con queste chiavi:

"summary", "keywords", "category", "topic"

"""

prompt = PromptTemplate(input_variables=["text"], template=template)
chain = LLMChain(llm=llm, prompt=prompt)

def summarize_text(text):
    output = chain.run(text=text[:4000])
    import json
    return json.loads(output)