jglowa commited on
Commit
3b2fae3
verified
1 Parent(s): 9989004

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -11,17 +11,17 @@ tags:
11
 
12
  # Prosty RAG
13
 
14
- Prosty RAG to otwarto藕r贸d艂owy asystent AI oparty na polskim modelu j臋zykowym [Bielik-4.5B-v3.0-Instruct](https://huggingface.co/speakleash/Bielik-4.5B-v3.0-Instruct), kt贸ry odpowiada na pytania z prywatnej bazy wiedzy u偶ytkownika, wykorzystuj膮c technik臋 RAG (Retrieval-Augmented Generation). **Asystent dzia艂a w pe艂ni lokalnie**, jako dwa pliki wykonywalne na Windows/Linux/MacOS, wykorzystuj膮c technologi臋 [llamafile](https://llamafile.ai/). Aplikacja jest przeno艣na, nie wymaga 艣rodowiska Python z mn贸stwem pakiet贸w (np. LangChain, LlamaIndex), automatycznie wykrywa zainstalowane biblioteki GPU (CUDA/ROCm), a w przypadku ich braku wykorzystuje CPU.
15
 
16
  Zasada dzia艂ania:
17
  1. Umieszczamy pliki bazy wiedzy PDF, TXT i MD (Markdown) w folderze `baza`,
18
- 2. Pliki s膮 indeksowane, dzielone na fragmenty i osadzane w wektorowej bazie danych SQLite,
19
  3. Dla danego zapytania pobierane s膮 najbardziej trafne fragmenty z bazy danych, kt贸re uzupe艂niaj膮 kontekst pytania,
20
  4. Model j臋zykowy generuje odpowied藕 na pytanie wykorzystuj膮c wzbogacone dane z bazy wiedzy.
21
 
22
  ### Uruchamianie
23
 
24
- Wystarczy pobra膰 plik [**prosty-rag.cmd**](https://huggingface.co/jglowa/prosty-rag/resolve/main/prosty-rag.cmd?download=true) (klikaj膮c prawym przyciskiem -> zapisz link jako...) i uruchomi膰 go (klikaj膮c dwukrotnie mysz膮 lub wpisuj膮c w wierszu polece艅 `./prosty-rag.cmd`). Skrypt sam pobierze pliki: `prosty-rag.llamafile` i `bge-m3.embedfile` (je艣li nie zosta艂y wcze艣niej pobrane), uruchomi indeksator (je艣li nie zosta艂 jeszcze uruchomiony), poprosi o wpisanie pytania, za艂aduje model j臋zykowy i otworzy stron臋 [http://localhost:8080](http://localhost:8080) z wype艂nionym pytaniem u偶ytkownika w przegl膮darce internetowej. Asystent dzia艂a off-line, a wszelkie dane pozostaj膮 lokalnie na urz膮dzeniu.
25
 
26
  W folderze `baza` nale偶y umie艣ci膰 wszystkie pliki PDF, TXT i MD do stworzenia bazy wiedzy. Nast臋pnie nale偶y uruchomi膰 skrypt `indeksator.cmd`, kt贸ry skonwertuje pliki PDF do TXT i zaindeksuje pliki tesktowe w wektorowej bazie danych SQLite `prosty-rag.db`, korzystaj膮c z modelu osadzania `bge-m3.embedfile`. Indeksator nale偶y uruchomi膰 po ka偶dej zmianie plik贸w w folderze `baza`.
27
 
 
11
 
12
  # Prosty RAG
13
 
14
+ Prosty RAG to otwarto藕r贸d艂owy asystent AI oparty na polskim modelu j臋zykowym [Bielik-4.5B-v3.0-Instruct](https://huggingface.co/speakleash/Bielik-4.5B-v3.0-Instruct), kt贸ry odpowiada na pytania z prywatnej bazy wiedzy u偶ytkownika, wykorzystuj膮c technik臋 RAG (Retrieval-Augmented Generation). **Asystent dzia艂a w pe艂ni lokalnie**, jako dwa pliki wykonywalne na Windows/Linux/MacOS, wykorzystuj膮ce technologi臋 [llamafile](https://llamafile.ai/) i embedfile. Aplikacja jest przeno艣na, nie wymaga 艣rodowiska Python z mn贸stwem pakiet贸w (np. LangChain, LangGraph, LlamaIndex i podobne), automatycznie wykrywa zainstalowane biblioteki GPU (CUDA/ROCm), a w przypadku ich braku wykorzystuje CPU.
15
 
16
  Zasada dzia艂ania:
17
  1. Umieszczamy pliki bazy wiedzy PDF, TXT i MD (Markdown) w folderze `baza`,
18
+ 2. Pliki s膮 indeksowane (PDF konwertowane na TXT za pomoc膮 [pdftotext](https://www.xpdfreader.com/pdftotext-man.html)), dzielone na fragmenty i osadzane w wektorowej bazie danych [sqlite-vec](https://github.com/asg017/sqlite-vec),
19
  3. Dla danego zapytania pobierane s膮 najbardziej trafne fragmenty z bazy danych, kt贸re uzupe艂niaj膮 kontekst pytania,
20
  4. Model j臋zykowy generuje odpowied藕 na pytanie wykorzystuj膮c wzbogacone dane z bazy wiedzy.
21
 
22
  ### Uruchamianie
23
 
24
+ Wystarczy pobra膰 plik [**prosty-rag.cmd**](https://huggingface.co/jglowa/prosty-rag/resolve/main/prosty-rag.cmd?download=true) (klikaj膮c prawym przyciskiem -> zapisz link jako...) i uruchomi膰 go (klikaj膮c dwukrotnie mysz膮 lub wpisuj膮c w wierszu polece艅 `./prosty-rag.cmd`). Skrypt sam pobierze pliki: `prosty-rag.llamafile` i `bge-m3.embedfile` (je艣li nie zosta艂y wcze艣niej pobrane), uruchomi indeksator (je艣li nie zosta艂 jeszcze uruchomiony), za艂aduje serwer z modelem osadzania (embedfile), z modelem j臋zykowym (llamafile) i otworzy stron臋 [http://localhost:8080](http://localhost:8080) w przegl膮darce internetowej. Asystent dzia艂a off-line, a wszelkie dane pozostaj膮 lokalnie na urz膮dzeniu.
25
 
26
  W folderze `baza` nale偶y umie艣ci膰 wszystkie pliki PDF, TXT i MD do stworzenia bazy wiedzy. Nast臋pnie nale偶y uruchomi膰 skrypt `indeksator.cmd`, kt贸ry skonwertuje pliki PDF do TXT i zaindeksuje pliki tesktowe w wektorowej bazie danych SQLite `prosty-rag.db`, korzystaj膮c z modelu osadzania `bge-m3.embedfile`. Indeksator nale偶y uruchomi膰 po ka偶dej zmianie plik贸w w folderze `baza`.
27