File size: 904 Bytes
de84956 9370c0a de84956 9370c0a de84956 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 |
# llm.py – OpenAI Chatmodell für RAG
import os
from langchain_openai import ChatOpenAI
CHAT_MODEL = "gpt-4o-mini" # günstig & stark
def load_llm():
api_key = os.environ.get("OPENAI_API_KEY")
if not api_key:
raise RuntimeError(
"OPENAI_API_KEY fehlt. Bitte als Secret im HuggingFace Space setzen."
)
print(f">>> Lade OpenAI Chatmodell: {CHAT_MODEL}")
# llm = ChatOpenAI(
# model=CHAT_MODEL,
# temperature=0.0, # deterministisch, wenig Halluzination
# api_key=api_key,
# )
# return llm
# 5.12_2:13
llm = ChatOpenAI(
model=CHAT_MODEL,
temperature=0.0,
top_p=1.0,
presence_penalty=0.0,
frequency_penalty=0.0,
api_key=api_key,
)
return llm
if __name__ == "__main__":
llm = load_llm()
print(llm.invoke("Sag einen Satz zum Prüfungsrecht.").content)
|