import os import time import streamlit as st from huggingface_hub import hf_hub_download from llama_index.core import VectorStoreIndex, Settings from llama_index.core.memory import ChatMemoryBuffer from llama_index.llms.llama_cpp import LlamaCPP from llama_index.readers.web import SimpleWebPageReader from llama_index.embeddings.fastembed import FastEmbedEmbedding SYSTEM_PROMPT = """ Jsi inteligentní český asistent, který pomáhá uživatelům hledat informace na zadaném webu. Tvé jméno je AI Rádce. Pokud se tě uživatel zeptá 'Co umíš?' nebo 'Kdo jsi?', odpověz: 'Jsem AI Rádce. Umím prohledat obsah této webové stránky, najít v ní konkrétní informace a odpovědět na vaše otázky. Učím se z kontextu naší konverzace.' Pravidla pro tebe: 1. Odpovídej vždy česky. 2. Vycházej primárně z informací, které máš v databázi (z webu). 3. Pokud informaci nevíš, přiznej to, nevymýšlej si. 4. Pamatuj si, co uživatel říkal v předchozích větách této konverzace. """.strip() st.set_page_config(page_title="AI Rádce s pamětí", layout="centered") st.title("🧠 Chytrý Chatbot (s pamětí)") DEFAULT_URLS = ["https://cs.wikipedia.org/wiki/Umělá_inteligence"] MODEL_REPO = "QuantFactory/Meta-Llama-3-8B-Instruct-GGUF" MODEL_FILE = "Meta-Llama-3-8B-Instruct.Q4_K_M.gguf" def _clamp(v: int, lo: int, hi: int) -> int: return max(lo, min(hi, v)) def create_llm(model_path: str, ctx_win: int, max_tok: int, n_threads: int, n_batch: int) -> LlamaCPP: """ Kompatibilní konstrukce napříč verzemi llama-index. Někdy wrapper nepřijme n_threads/n_batch přímo => použijeme model_kwargs. """ # 1) zkus přímé parametry try: return LlamaCPP( model_path=model_path, temperature=0.1, max_new_tokens=max_tok, context_window=ctx_win, n_threads=n_threads, n_batch=n_batch, verbose=False, ) except TypeError: pass # 2) fallback přes model_kwargs try: return LlamaCPP( model_path=model_path, temperature=0.1, max_new_tokens=max_tok, context_window=ctx_win, model_kwargs={"n_threads": n_threads, "n_batch": n_batch}, verbose=False, ) except TypeError: # 3) poslední fallback: jen threads return LlamaCPP( model_path=model_path, temperature=0.1, max_new_tokens=max_tok, context_window=ctx_win, model_kwargs={"n_threads": n_threads}, verbose=False, ) @st.cache_resource def get_model_path() -> str: return hf_hub_download(repo_id=MODEL_REPO, filename=MODEL_FILE) @st.cache_resource def build_index(urls_tuple: tuple[str, ...]) -> VectorStoreIndex: # Embed model: bez torch/cuda (rychlejší instalace a stabilní na HF) Settings.embed_model = FastEmbedEmbedding(model_name="BAAI/bge-small-en-v1.5") docs = SimpleWebPageReader(html_to_text=True).load_data(list(urls_tuple)) return VectorStoreIndex.from_documents(docs) @st.cache_resource def load_llm_cached(ctx_win: int, max_tok: int, n_threads: int, n_batch: int) -> LlamaCPP: model_path = get_model_path() return create_llm(model_path, ctx_win, max_tok, n_threads, n_batch) def make_chat_engine(urls_list: list[str], ctx_win: int, max_tok: int, n_threads: int, n_batch: int) -> object: index = build_index(tuple(urls_list)) llm = load_llm_cached(ctx_win, max_tok, n_threads, n_batch) Settings.llm = llm # nastavíme aktivní LLM pro LlamaIndex memory = ChatMemoryBuffer.from_defaults(token_limit=min(1500, ctx_win)) # condense_plus_context bývá svižnější / stabilnější než čisté "context" return index.as_chat_engine( chat_mode="condense_plus_context", memory=memory, system_prompt=SYSTEM_PROMPT, verbose=False, ) with st.sidebar: st.header("Nastavení") urls_text = st.text_area( "URL zdroje (1 URL na řádek)", value="\n".join(DEFAULT_URLS), height=110, ) urls = [u.strip() for u in urls_text.splitlines() if u.strip()] safe_mode = st.toggle("Safe Mode (doporučeno pro HF CPU)", value=True) st.caption("Safe Mode brání nastavení, které na HF CPU typicky 'zamrzne'.") # Uživatelské vstupy user_max_new_tokens = st.slider("Max nových tokenů (rychlost)", 32, 256, 96, 16) user_context_window = st.select_slider("Context window", options=[1024, 2048, 3072, 4096], value=2048) cpu_cnt = os.cpu_count() or 2 user_threads = st.slider("Počet vláken (threads)", 1, min(8, cpu_cnt), min(4, cpu_cnt), 1) user_batch = st.select_slider("Batch", options=[64, 128, 256, 512], value=128) if st.button("🧹 Resetovat konverzaci"): st.session_state.pop("messages", None) st.session_state.pop("chat_engine", None) st.rerun() # Tvrdé limity (aby se to nezabilo na HF CPU) if safe_mode: max_new_tokens = _clamp(user_max_new_tokens, 32, 128) context_window = _clamp(user_context_window, 1024, 2048) threads = _clamp(user_threads, 1, 4) batch = _clamp(user_batch, 64, 256) else: max_new_tokens = user_max_new_tokens context_window = user_context_window threads = user_threads batch = user_batch st.sidebar.markdown("---") st.sidebar.write("Aktivní parametry:") st.sidebar.code( f"max_new_tokens={max_new_tokens}\ncontext_window={context_window}\nthreads={threads}\nbatch={batch}" ) # Inicializace enginu if "chat_engine" not in st.session_state: with st.spinner("Startuji mozek bota... (model + index)"): try: st.session_state.chat_engine = make_chat_engine(urls, context_window, max_new_tokens, threads, batch) except Exception as e: st.error(f"Chyba při inicializaci: {e}") st.stop() # Historie zpráv if "messages" not in st.session_state: st.session_state.messages = [] for msg in st.session_state.messages: with st.chat_message(msg["role"]): st.markdown(msg["content"]) def generate_answer(prompt: str) -> str: """ Robustní generace odpovědi: - zkusíme stream_chat (když funguje) - pokud do 3s nepřiteče žádný chunk, fallback na chat() """ engine = st.session_state.chat_engine # 1) Stream pokus try: stream = engine.stream_chat(prompt) full = "" started = time.time() # Některé verze blokují; proto "čekáme na první chunk" max 3s got_any = False for chunk in stream.response_gen: got_any = True full += chunk yield ("stream", full) # průběžně vracíme text # když se to rozjede, necháme to dojet normálně if got_any and full.strip(): return # výstup už byl odeslán přes yield # pokud nic nepřišlo, padneme do fallbacku if time.time() - started < 3.0: # malá pauza, ať se neflushuje zbytečně time.sleep(0.2) except Exception: # stream nemusí být podporovaný/kompatibilní pass # 2) Fallback: klasický chat() (blokuje, ale aspoň funguje vždy) resp = engine.chat(prompt) answer = getattr(resp, "response", None) or str(resp) yield ("final", answer) # Chat input prompt = st.chat_input("Zeptej se (např: Co umíš?)...") if prompt: st.session_state.messages.append({"role": "user", "content": prompt}) with st.chat_message("user"): st.markdown(prompt) with st.chat_message("assistant"): placeholder = st.empty() status = st.empty() full_text = "" t0 = time.time() try: # průběžné vykreslování for kind, text in generate_answer(prompt): full_text = text placeholder.markdown(full_text) status.caption(f"Generuji... {time.time() - t0:.1f}s") status.caption(f"Hotovo za {time.time() - t0:.1f}s") except Exception as e: full_text = f"Chyba při generování odpovědi: {e}" placeholder.markdown(full_text) st.session_state.messages.append({"role": "assistant", "content": full_text})