Update app.py

app.py

@@ -48,6 +48,15 @@ def run_parallel(prompts: List[str], query_fn, max_workers: int = 5) -> List[str
                 
     return results
 
+#Parallel LLM execution
+def run_parallel_wo_validation(prompts: List[str], query_fn, max_workers: int = 5) -> List[str]:
+    results = []
+    with ThreadPoolExecutor(max_workers=max_workers) as executor:
+        futures = {executor.submit(query_fn, prompt): prompt for prompt in prompts}
+        for future in as_completed(futures):
+            results.append(res)
+    return results
+    
 # Prompt builders
 JSON_INSTRUCTION = 'Поверни list з структурою ["name", "name", ..., "name", "name"]. Поверни тільки цей list. Без будь-якого іншого тексту'
 
@@ -62,10 +71,10 @@ def build_people_prompt(area: str) -> str:
         Шукай все що напряму пов'язано з {area} (компанії, дочірні компанії, співробітники, і тд)""" + JSON_INSTRUCTION
 
 def build_books_prompt(name: str, query: str) -> str:
-    return f"""Ти найкращий пошуковий помічник по книгам у світі. Надай мені список книг, які рекомендував {name} з {query}. 
-    Мене цікавлять тільки назви книг, не пиши нічого іншого. В відповіді повинні бути лише назва книги. 
-    Проаналізуй всі статті, публікації, згадки у соціальних мережах про {name} з {query} і знайди саме книги які ця людина рекомендувала.
-    Ці книги потрібні щоб віповісти на запит користувача {query}
+    return f"""Ти найкращий пошуковий помічник по книгам у світі. Надай мені список книг, які рекомендував {name}. 
+    Мене цікавлять тільки назви книг та автори, не пиши нічого іншого. В відповіді повинні бути лише назва книги. 
+    Проаналізуй всі статті, публікації, згадки у соціальних мережах про {name} і знайди саме книги які ця людина рекомендувала.
+    Ці книги потрібні щоб віповісти на запит користувача {query}.
     Якщо ти нічого не зміг знайти поверни "". БІЛЬШЕ НІЧОГО НЕ ПИШИ."""
     
 # Generator function for progressive output
@@ -98,8 +107,8 @@ def on_click(query, context):
 
 
     book_prompts = [build_books_prompt(name, query) for name in people]
-    book_results = run_parallel(book_prompts, query_openai, max_workers=10)
-    book_results = list(set([item for sublist in book_results for item in sublist]))
+    print(book_prompts)
+    book_results = run_parallel_wo_validation(book_prompts, query_openai, max_workers=10)
     print(book_results)