Update indeksator.cmd

indeksator.cmd

@@ -1,7 +1,9 @@
 :; shopt -s nullglob expand_aliases || setopt nullglob aliases; alias @set='' @echo='echo'
 @echo Indeksator Prosty RAG v0.4 - Jerzy Glowacki na licencji Apache 2.0
 :; # Zmienne:
-@set embedfile=bge-m3.embedfile
+@set embedfile=prosty-rag.embedfile
+@set embedmodelfile=bge-m3.gguf
+@set embedmodelURL=https://huggingface.co/gpustack/bge-m3-GGUF/resolve/main/bge-m3-Q6_K.gguf?download=true
 @set inputDir=baza
 @set chunksFile=chunks.txt
 @set dbFile=prosty-rag.db
@@ -12,7 +14,8 @@
 :; >$chunksFile
 :; # Instalacja
 :; [ ! -d $inputDir ] && echo Pobieranie przykładowego pliku $inputDir/wikipedia.txt... && curl --create-dirs -Lo $inputDir/wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true && echo Gotowe!
-:; [ ! -f $embedfile ] && echo Pobieranie $embedfile... && curl -Lo $embedfile https://huggingface.co/asg017/embedfile/resolve/refs%2Fpr%2F2/bge-m3.embedfile?download=true && chmod +x $embedfile && echo Gotowe!
+:; [ ! -f $embedfile ] && echo Pobieranie $embedfile... && curl -Lo $embedfile https://github.com/niutech/llamafile/releases/download/0.9.3/embedfile && chmod +x $embedfile && echo Gotowe!
+:; [ ! -f "$embedmodelfile" ] && echo Pobieranie $embedmodelfile... && curl -Lo "$embedmodelfile" $embedmodelURL && echo Gotowe!
 :; [ ! -f pdftotext ] && echo Pobieranie pdftotext... && curl -LO https://dl.xpdfreader.com/xpdf-tools-$OS-4.05.tar.gz && tar --strip-components 2 -xzf xpdf-tools-$OS-4.05.tar.gz xpdf-tools-$OS-4.05/bin64/pdftotext && rm xpdf-tools-$OS-4.05.tar.gz && echo Gotowe!
 :; # Uruchamianie
 :; echo "Indeksowanie plików PDF/TXT/MD/CSV w folderze $inputDir..."
@@ -32,7 +35,7 @@
 :; done
 :; echo "Osadzanie plików w bazie danych..."
 :; [ -f $dbFile ] && rm $dbFile
-:; ./$embedfile import $chunksFile $dbFile && ./$embedfile sh $dbFile "CREATE VIRTUAL TABLE fts_items USING fts5(line, tokenize='porter')" "INSERT INTO fts_items SELECT * FROM items" && echo "Gotowe! Po każdej zmianie w folderze $inputDir należy uruchomić ponownie indeksator."
+:; ./$embedfile -m $embedmodelfile import $chunksFile $dbFile && ./$embedfile -m $embedmodelfile sh $dbFile "CREATE VIRTUAL TABLE fts_items USING fts5(line, tokenize='porter')" "INSERT INTO fts_items SELECT * FROM items" && echo "Gotowe! Po każdej zmianie w folderze $inputDir należy uruchomić ponownie indeksator."
 :; rm $chunksFile; exit $?
 :; # Windows:
 @echo off
@@ -43,7 +46,8 @@ for /l %%i in (1,1,%overlapWords%) do set buf[%%i]=
 break>%chunksFile%
 :; # Instalacja
 if not exist %inputDir% echo Pobieranie przykładowego pliku %inputDir%\wikipedia.txt... && curl --create-dirs -Lo %inputDir%\wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true  && echo Gotowe^^!
-if not exist %embedfile% echo Pobieranie %embedfile%... && curl -Lo %embedfile% https://huggingface.co/asg017/embedfile/resolve/refs%%2Fpr%%2F2/bge-m3.embedfile?download=true && echo Gotowe^^!
+if not exist %embedfile% echo Pobieranie %embedfile%... && curl -Lo %embedfile% https://github.com/niutech/llamafile/releases/download/0.9.3/embedfile && echo Gotowe^^!
+if not exist %embedmodelfile% echo Pobieranie %embedmodelfile%... && curl -Lo %embedmodelfile% %embedmodelURL% && echo Gotowe^^!
 if not exist pdftotext.exe echo Pobieranie pdftotext.exe... && curl -LO https://dl.xpdfreader.com/xpdf-tools-win-4.05.zip && tar --strip-components 2 -xf xpdf-tools-win-4.05.zip xpdf-tools-win-4.05/bin64/pdftotext.exe && del xpdf-tools-win-4.05.zip && echo Gotowe^^!
 :; # Uruchamianie
 echo Indeksowanie plików PDF/TXT/MD/CSV w folderze %inputDir%...
@@ -77,7 +81,7 @@ for %%F in ("%inputDir%\*.txt" "%inputDir%\*.md") do (
 )
 echo Osadzanie plików w bazie danych...
 if exist %dbFile% del %dbFile%
-%embedfile% import %chunksFile% %dbFile% && %embedfile% sh %dbFile% "CREATE VIRTUAL TABLE fts_items USING fts5(line, tokenize='porter')" "INSERT INTO fts_items SELECT * FROM items" && echo Gotowe^^! Po każdej zmianie w folderze %inputDir% należy uruchomić ponownie indeksator.
+%embedfile% -m %embedmodelfile% import %chunksFile% %dbFile% && %embedfile% -m %embedmodelfile% sh %dbFile% "CREATE VIRTUAL TABLE fts_items USING fts5(line, tokenize='porter')" "INSERT INTO fts_items SELECT * FROM items" && echo Gotowe^^! Po każdej zmianie w folderze %inputDir% należy uruchomić ponownie indeksator.
 del %chunksFile%
 endlocal
 pause