Update app.py
Browse files
app.py
CHANGED
|
@@ -60,7 +60,7 @@ CHROMA_EXCEL = './chroma/kkg/excel'
|
|
| 60 |
###########################################
|
| 61 |
#######################################
|
| 62 |
#1. Alternative: HuggingFace Model name--------------------------------
|
| 63 |
-
MODEL_NAME_HF = "t5-small" #"meta-llama/Meta-Llama-3-8B-Instruct" #"mistralai/Mistral-7B-Instruct-v0.3" #"microsoft/Phi-3-mini-4k-instruct" #"HuggingFaceH4/zephyr-7b-alpha"
|
| 64 |
|
| 65 |
############################################
|
| 66 |
#2. Alternative_ HuggingFace Reop ID--------------------------------
|
|
@@ -235,7 +235,6 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
|
|
| 235 |
##############################################
|
| 236 |
#1.Alternative mit Inference API ung HF EndPoint
|
| 237 |
# Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
|
| 238 |
-
"""
|
| 239 |
llm = HuggingFaceEndpoint(
|
| 240 |
endpoint_url=f"https://api-inference.huggingface.co/models/{MODEL_NAME_HF}",
|
| 241 |
api_key=hf_token,
|
|
@@ -246,11 +245,11 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
|
|
| 246 |
repetition_penalty=repetition_penalty
|
| 247 |
)
|
| 248 |
result = rag_chain(llm, history_text_und_prompt, retriever)
|
| 249 |
-
|
| 250 |
|
| 251 |
#############################################
|
| 252 |
#2. Alternative: mit API_URL
|
| 253 |
-
result = rag_chain(API_URL, history_text_und_prompt, retriever)
|
| 254 |
|
| 255 |
#############################################
|
| 256 |
#3.te Alternative für pipeline
|
|
|
|
| 60 |
###########################################
|
| 61 |
#######################################
|
| 62 |
#1. Alternative: HuggingFace Model name--------------------------------
|
| 63 |
+
MODEL_NAME_HF = "HuggingFaceH4/zephyr-7b-alpha" #"t5-small" #"meta-llama/Meta-Llama-3-8B-Instruct" #"mistralai/Mistral-7B-Instruct-v0.3" #"microsoft/Phi-3-mini-4k-instruct" #"HuggingFaceH4/zephyr-7b-alpha"
|
| 64 |
|
| 65 |
############################################
|
| 66 |
#2. Alternative_ HuggingFace Reop ID--------------------------------
|
|
|
|
| 235 |
##############################################
|
| 236 |
#1.Alternative mit Inference API ung HF EndPoint
|
| 237 |
# Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
|
|
|
|
| 238 |
llm = HuggingFaceEndpoint(
|
| 239 |
endpoint_url=f"https://api-inference.huggingface.co/models/{MODEL_NAME_HF}",
|
| 240 |
api_key=hf_token,
|
|
|
|
| 245 |
repetition_penalty=repetition_penalty
|
| 246 |
)
|
| 247 |
result = rag_chain(llm, history_text_und_prompt, retriever)
|
| 248 |
+
|
| 249 |
|
| 250 |
#############################################
|
| 251 |
#2. Alternative: mit API_URL
|
| 252 |
+
#result = rag_chain(API_URL, history_text_und_prompt, retriever)
|
| 253 |
|
| 254 |
#############################################
|
| 255 |
#3.te Alternative für pipeline
|