jglowa

/

prosty-rag

like 7

Proszę spróbować jeszcze raz, pobierając najnowszą wersję 0.2 sprzed kilku godzin. Czy błąd nadal wystąpi?

nie pomogło

to samo z resztą się dzieje jak ręcznie pobiorę .embedfile z linka w skrypcie (tylke że ma 500MB zamiast 1KB)

Problem był ze znakiem % w URL. Spróbuj teraz pobrać plik prosty-rag.cmd, usunąć poprzednie pliki bge-m3.embedfile, indeksator.cmd i uruchomić prosty-rag.cmd, a jeśli wciąż nie działa, to ręcznie pobrać plik bge-m3.embedfile.

a teraz takie coś:

teraz nawet nie dochodzi do momentu żeby wpisac pytanie za to odpala się przegladarka ze znajomym już

Hej, jest jeszcze jeden problem: komunikat: /C/ProstyRAG/prosty-rag.llamafile: error: no Prosty RAG - Bielik-4.5B-v3.0-Instruct.gguf file found in zip archive
Prosty RAG - Bielik-4.5B-v3.0-Instruct.gguf: failed to load model.

@sledziu32 : W prosty-rag.cmd powinno być start, a nie tart - czy na pewno kod jest taki sam jak w repozytorium? Przy okazji, od wersji 0.2 nie wpisuje się już pytania w wierszu poleceń, tylko w oknie czatu w przeglądarce na http://localhost:8080, który zapytuje AJAX-em podpowiedzi z serwera embedfile pod http://localhost:8081.

@grzegorzst : Pod jakim systemem ten komunikat? Czy na pewno nie było błędu podczas ściągania prosty-rag.llamafile? Spróbuj zbudować jeszcze raz llamafile usuwając plik prosty-rag.llamafile i uruchamiając skrypt build.cmd.

wersja 0.2 - mam ten sam problem co grzegorzst
po tym jak nie znajduje GPU:
falling back to CPU inference
/C/Users/kamil/OneDrive/Dokumenty/1. Projects/Simple_rag/prosty-rag.llamafile: error: no Prosty RAG - Bielik-4.5B-v3.0-Instruct.gguf file found in zip archive
Prosty RAG - Bielik-4.5B-v3.0-Instruct.gguf: failed to load model
localhost nie odpadal się (albo nie odpowiada) jak u sledziu32. Skusiło mnie info na linkedinie - będę wdzięczny, gdy pomożesz mi uruchomić.

Mam Win11. Build sprawdzę i dam znać.
U mnie też shell piszę o braku polecenia "tart" - w kodzie na pewno jest start. Sprawdzałem czy to nie problem kodowania samego pliku cmd. Ciekawe, że jak uruchamiam skrypt z konsoli - błąd "tart" się pojawia, gdy odpalam skrypt z ikony - błędu nie ma.

Ok, po przebudowie llamafile wszystko zadziałało, tzn. czat sie odpalił i działa. Reindeksacja plików w bazie też działa. Testowałem bez GPU - około 10 tokenów/s.

działa 👍

na razie na w11

wieczorem sprawdze na w10

@sledziu32 : Cieszę się, że działa. W web apce czatu sprawdź proszę jeszcze na wszelki wypadek w konsoli (ctrl-shift-i), czy wysyłany jest request do http://localhost:8081/?q= i czy zwracana jest lista fragmentów zaindeksowanych plików.

co do fragmentów to gorzej bo chyba nie radzi sobie za dobrze z tabelami csv. przerobie linie na osobne "raporty" i zobaczę co z tego wyjdzie

@sledziu32 : Póki co Prosty RAG nie wspiera plików CSV. Możliwe, że dodam w kolejnej wersji. Tymczasem wgrałem nową wersję prosty-rag.llamafile - sprawdźcie proszę czy działa.