Update app.py
Browse files
app.py
CHANGED
|
@@ -23,13 +23,15 @@ embedding_model = SentenceTransformer('all-MiniLM-L6-v2')
|
|
| 23 |
|
| 24 |
# Initialisierung von Tokenizer und RAG Modell mit Token
|
| 25 |
tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
|
|
|
|
| 26 |
model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
|
| 27 |
|
| 28 |
# Verbindung zur Chroma DB und Laden der Dokumente
|
| 29 |
-
chroma_db = Chroma(
|
| 30 |
|
| 31 |
# Erstellung eines HuggingFacePipeline LLM Modells
|
| 32 |
-
|
|
|
|
| 33 |
|
| 34 |
|
| 35 |
# Erstellen eines eigenen Retrievers mit Chroma DB und Embeddings
|
|
@@ -76,6 +78,7 @@ def get_rag_response(question):
|
|
| 76 |
|
| 77 |
return response
|
| 78 |
|
|
|
|
| 79 |
|
| 80 |
|
| 81 |
# Funktion, die für den Chatbot genutzt wird
|
|
|
|
| 23 |
|
| 24 |
# Initialisierung von Tokenizer und RAG Modell mit Token
|
| 25 |
tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
|
| 26 |
+
retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", token=hf_token, use_dummy_dataset=True)
|
| 27 |
model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
|
| 28 |
|
| 29 |
# Verbindung zur Chroma DB und Laden der Dokumente
|
| 30 |
+
chroma_db = Chroma(embedding=embedding_model, persist_directory = PATH_WORK + CHROMA_DIR)
|
| 31 |
|
| 32 |
# Erstellung eines HuggingFacePipeline LLM Modells
|
| 33 |
+
llm_pipeline = pipeline("text2text-generation", model=model, tokenizer=tokenizer, retriever=retriever)
|
| 34 |
+
llm = HuggingFacePipeline(pipeline=llm_pipeline)
|
| 35 |
|
| 36 |
|
| 37 |
# Erstellen eines eigenen Retrievers mit Chroma DB und Embeddings
|
|
|
|
| 78 |
|
| 79 |
return response
|
| 80 |
|
| 81 |
+
|
| 82 |
|
| 83 |
|
| 84 |
# Funktion, die für den Chatbot genutzt wird
|