add hf logic

app.py

@@ -3,7 +3,8 @@ import numpy as np
 import plotly.express as px
 import plotly.graph_objects as go
 import pandas as pd
-from generation import generate_with_ollama as get_llm_answer, wrap_prompt
+from generation import wrap_prompt
+from llm import get_llm_answer
 from retrieval import Retrieval
 from _2_splitting import YEAR_OLD, YEAR_NEW
 from vocabulary.parse_vocabulary import parse_vocabulary

generation.py

@@ -1,4 +1,3 @@
-from ollama import chat
 import warnings
 import re
 warnings.filterwarnings('ignore')
@@ -65,40 +64,6 @@ def lemmatize(text, vocabulary):
     return found_terms
 
 
-def generate_with_ollama(prompt):
-    stream = chat(
-    model='gemma3',
-    messages=[{'role': 'user', 'content': prompt}],
-    stream=True,
-    )
-
-    in_thinking = False
-    content = ''
-    thinking = ''
-
-    """
-    Ключевая особенность: модель может возвращать два типа данных:
-    A. "Мысли" (chunk.message.thinking)
-    B. Финальный ответ (chunk.message.content)
-    """
-
-    for chunk in stream:
-        if chunk.message.thinking:
-            if not in_thinking:
-                in_thinking = True
-                # При первом появлении "мыслей" выводится заголовок "Thinking:"
-            yield chunk.message.thinking
-            # accumulate the partial thinking 
-            thinking += chunk.message.thinking
-        elif chunk.message.content:
-            if in_thinking:
-                in_thinking = False
-                # Когда начинается финальный ответ, выводится заголовок "Answer:"
-            yield chunk.message.content
-            # accumulate the partial content
-            content += chunk.message.content
-
-
 def wrap_prompt(retrieved_text, query_text, vocabula):
     tokens_from_query = lemmatize(query_text, vocabula)
     tokens_from_retrieved = lemmatize(retrieved_text, vocabula)

llm.py

@@ -0,0 +1,20 @@
+import os
+from huggingface_hub import InferenceClient
+
+token = os.environ["HF_TOKEN"]
+client = InferenceClient(
+    model="Qwen/Qwen3-0.6B",
+    token="HF_TOKEN"
+)
+
+def get_llm_answer(prompt):
+    stream = client.chat_completion(
+        messages=[{"role": "user", "content": prompt}],
+        max_tokens=5000,
+        stream=True
+    )
+
+    for chunk in stream:
+        delta = chunk.choices[0].delta.content
+        if delta:
+            yield delta

requirements.txt

@@ -2,7 +2,7 @@ numpy==2.1.3
 pandas==2.2.3
 torch==2.9.1
 plotly== 5.24.1
-ollama==0.6.1
 gradio
 rank-bm25==0.2.2
 sentence-transformers==5.2.0
+huggingface_hub

texts/реформа2012.md

@@ -36,7 +36,7 @@
 
 Получается, что из всех маршрутов, которые предполагалось отменить в 2012 году, все маршруты закрылись сами собой. И лишь один из них был открыт, но по инициативе уже городминистрации. Теперь же, что касается маршрутных такси. Тут тоже отмен довольно много, но по самой системе прошлись не сильно.
 
-31 маршрутка ходила из Дашкой Песочни в Дягилево. Была отменена в 2019 году и тут скорее даже все-таки по инициативе городминистрации в рамках, так и начавшись в полноценной борьбы с маршрутками дублерами.
+31 маршрутка ходила из Дашково-Песочни в Дягилево. Была отменена в 2019 году и тут скорее даже все-таки по инициативе городминистрации в рамках, так и начавшись в полноценной борьбы с маршрутками дублерами.
 
 43 маршрутка прекратила существование по инициативе перевозчика в середине десятых.