Update app.py
Browse files
app.py
CHANGED
|
@@ -45,6 +45,7 @@ if JINA_API_KEY is None:
|
|
| 45 |
raise ValueError("JINA_API_KEY environment variable not set.")
|
| 46 |
JINA_RERANKER_MODEL = "jina-reranker-v2-base-multilingual"
|
| 47 |
|
|
|
|
| 48 |
# Имена таблиц
|
| 49 |
embeddings_table = "movie_embeddings"
|
| 50 |
query_cache_table = "query_cache"
|
|
@@ -297,7 +298,7 @@ def get_movie_embeddings(conn):
|
|
| 297 |
logging.error(f"Ошибка при загрузке эмбеддингов фильмов: {e}")
|
| 298 |
return movie_embeddings
|
| 299 |
|
| 300 |
-
def rerank_with_api(query, results):
|
| 301 |
"""Переранжирует результаты с помощью Jina AI Reranker API."""
|
| 302 |
logging.info(f"Начало переранжирования для запроса: '{query}'")
|
| 303 |
documents = []
|
|
@@ -305,46 +306,43 @@ def rerank_with_api(query, results):
|
|
| 305 |
movie = next((m for m in movies_data if m['id'] == movie_id), None)
|
| 306 |
if movie:
|
| 307 |
movie_info = f"Название: {movie['name']}\nГод: {movie['year']}\nЖанры: {movie['genreslist']}\nОписание: {movie['description']}"
|
| 308 |
-
documents.append(
|
| 309 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 310 |
data = {
|
| 311 |
"model": JINA_RERANKER_MODEL,
|
| 312 |
"query": query,
|
| 313 |
-
"top_n":
|
| 314 |
"documents": documents
|
| 315 |
}
|
| 316 |
-
logging.info(f"Отправка данных на
|
| 317 |
-
|
| 318 |
-
headers = {
|
| 319 |
-
'Content-Type': 'application/json',
|
| 320 |
-
'Authorization': f'Bearer {JINA_API_KEY}'
|
| 321 |
-
}
|
| 322 |
|
| 323 |
try:
|
| 324 |
response = requests.post(JINA_API_URL, headers=headers, json=data)
|
| 325 |
response.raise_for_status() # Проверка на ошибки HTTP
|
| 326 |
-
|
| 327 |
-
logging.info(f"Ответ от
|
| 328 |
|
| 329 |
reranked_results = []
|
| 330 |
-
|
| 331 |
-
|
| 332 |
-
|
| 333 |
-
|
| 334 |
-
|
|
|
|
|
|
|
|
|
|
| 335 |
|
| 336 |
-
reranked_results.sort(key=lambda x: x[1], reverse=True)
|
| 337 |
logging.info("Переранжирование завершено.")
|
|
|
|
| 338 |
return reranked_results
|
| 339 |
-
|
| 340 |
except requests.exceptions.RequestException as e:
|
| 341 |
-
logging.error(f"Ошибка при запросе к
|
| 342 |
return []
|
| 343 |
-
except (KeyError, ValueError) as e:
|
| 344 |
-
logging.error(f"Ошибка при обработке ответа от Jina AI Reranker API: {e}")
|
| 345 |
-
return []
|
| 346 |
-
finally:
|
| 347 |
-
time.sleep(0.5)
|
| 348 |
|
| 349 |
def search_movies(query, top_k=20):
|
| 350 |
"""Выполняет поиск фильмов по запросу."""
|
|
@@ -397,11 +395,11 @@ def search_movies(query, top_k=20):
|
|
| 397 |
logging.error(f"Ошибка при выполнении поискового запроса: {e}")
|
| 398 |
results = []
|
| 399 |
|
| 400 |
-
# Переранжируем результаты
|
| 401 |
-
reranked_results = rerank_with_api(query, results)
|
| 402 |
|
| 403 |
output = ""
|
| 404 |
-
for movie_id, score in reranked_results
|
| 405 |
# Находим фильм по ID
|
| 406 |
movie = next((m for m in movies_data if m['id'] == movie_id), None)
|
| 407 |
if movie:
|
|
|
|
| 45 |
raise ValueError("JINA_API_KEY environment variable not set.")
|
| 46 |
JINA_RERANKER_MODEL = "jina-reranker-v2-base-multilingual"
|
| 47 |
|
| 48 |
+
|
| 49 |
# Имена таблиц
|
| 50 |
embeddings_table = "movie_embeddings"
|
| 51 |
query_cache_table = "query_cache"
|
|
|
|
| 298 |
logging.error(f"Ошибка при загрузке эмбеддингов фильмов: {e}")
|
| 299 |
return movie_embeddings
|
| 300 |
|
| 301 |
+
def rerank_with_api(query, results, top_k):
|
| 302 |
"""Переранжирует результаты с помощью Jina AI Reranker API."""
|
| 303 |
logging.info(f"Начало переранжирования для запроса: '{query}'")
|
| 304 |
documents = []
|
|
|
|
| 306 |
movie = next((m for m in movies_data if m['id'] == movie_id), None)
|
| 307 |
if movie:
|
| 308 |
movie_info = f"Название: {movie['name']}\nГод: {movie['year']}\nЖанры: {movie['genreslist']}\nОписание: {movie['description']}"
|
| 309 |
+
documents.append(movie_info)
|
| 310 |
|
| 311 |
+
headers = {
|
| 312 |
+
'Content-Type': 'application/json',
|
| 313 |
+
'Authorization': f'Bearer {JINA_API_KEY}'
|
| 314 |
+
}
|
| 315 |
data = {
|
| 316 |
"model": JINA_RERANKER_MODEL,
|
| 317 |
"query": query,
|
| 318 |
+
"top_n": top_k,
|
| 319 |
"documents": documents
|
| 320 |
}
|
| 321 |
+
logging.info(f"Отправка данных на реранжировку: {data}")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 322 |
|
| 323 |
try:
|
| 324 |
response = requests.post(JINA_API_URL, headers=headers, json=data)
|
| 325 |
response.raise_for_status() # Проверка на ошибки HTTP
|
| 326 |
+
result = response.json()
|
| 327 |
+
logging.info(f"Ответ от API реранжировщика: {result}")
|
| 328 |
|
| 329 |
reranked_results = []
|
| 330 |
+
if 'results' in result:
|
| 331 |
+
for item in result['results']:
|
| 332 |
+
|
| 333 |
+
index = item['index']
|
| 334 |
+
movie_id = results[index][0]
|
| 335 |
+
reranked_results.append((movie_id, item['relevance_score']))
|
| 336 |
+
else:
|
| 337 |
+
logging.warning("Ответ от API не содержит ключа 'results'.")
|
| 338 |
|
|
|
|
| 339 |
logging.info("Переранжирование завершено.")
|
| 340 |
+
time.sleep(0.5)
|
| 341 |
return reranked_results
|
| 342 |
+
|
| 343 |
except requests.exceptions.RequestException as e:
|
| 344 |
+
logging.error(f"Ошибка при запросе к API реранжировщика: {e}")
|
| 345 |
return []
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 346 |
|
| 347 |
def search_movies(query, top_k=20):
|
| 348 |
"""Выполняет поиск фильмов по запросу."""
|
|
|
|
| 395 |
logging.error(f"Ошибка при выполнении поискового запроса: {e}")
|
| 396 |
results = []
|
| 397 |
|
| 398 |
+
# Переранжируем результаты с помощью API
|
| 399 |
+
reranked_results = rerank_with_api(query, results, top_k)
|
| 400 |
|
| 401 |
output = ""
|
| 402 |
+
for movie_id, score in reranked_results:
|
| 403 |
# Находим фильм по ID
|
| 404 |
movie = next((m for m in movies_data if m['id'] == movie_id), None)
|
| 405 |
if movie:
|