File size: 715 Bytes
ed084d7 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
"""
llm.py – LLM local über Ollama (z.B. qwen2.5:1.5b-instruct)
Kein HF Inference, komplett kostenlos.
"""
from langchain_community.chat_models import ChatOllama
MODEL_NAME = "qwen2.5:1.5b-instruct"
def load_llm():
"""
Erstellt ein ChatOllama-Modell, das auf den lokal laufenden
Ollama-Server (http://localhost:11434) zugreift.
"""
print(f">>> Lade lokales Ollama-LLM: {MODEL_NAME}")
llm = ChatOllama(
model=MODEL_NAME,
temperature=0.0, # deterministisch
base_url="http://127.0.0.1:11434",
)
print(">>> LLM ready.\n")
return llm
if __name__ == "__main__":
llm = load_llm()
print(llm.invoke("Sag einen kurzen Satz auf Deutsch."))
|