Update indeksator.cmd

indeksator.cmd

@@ -6,13 +6,14 @@
 :; dbFile="prosty-rag.db"
 :; chunkWords=200
 :; overlapWords=10
-:; declare -a buf
+:; buf=()
 :; for ((i = 0; i < overlapWords; i++)); do buf[i]=""; done
 :; > $chunksFile
-:; [ ! -f $inputDir ] && echo Pobieranie przykładowego pliku $inputDir/wikipedia.txt... && curl --create-dirs -Lo $inputDir/wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true && echo Gotowe!
-:; [ ! -f $embedfile ] && echo Pobieranie $embedfile... && curl -Lo $embedfile https://huggingface.co/jglowa/prosty-rag/resolve/main/bge-m3.llamafile?download=true && chmod +x $embedfile && echo Gotowe!
+:; [ ! -d $inputDir ] && echo Pobieranie przykładowego pliku $inputDir/wikipedia.txt... && curl --create-dirs -Lo $inputDir/wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true && echo Gotowe!
+:; [ ! -f $embedfile ] && echo Pobieranie $embedfile... && curl -Lo $embedfile https://huggingface.co/asg017/embedfile/resolve/refs%2Fpr%2F2/bge-m3.embedfile?download=true && chmod +x $embedfile && echo Gotowe!
 :; [ ! -f pdftotext ] && echo Pobieranie pdftotext... && curl -LO https://dl.xpdfreader.com/xpdf-tools-linux-4.05.tar.gz && tar --strip-components 2 -xzf xpdf-tools-linux-4.05.tar.gz xpdf-tools-linux-4.05/bin64/pdftotext && del xpdf-tools-linux-4.05.tar.gz && echo Gotowe!
 :; echo "Indeksowanie plików PDF/TXT/MD w folderze $inputDir..."
+:; shopt -s nullglob
 :; for pdf in $inputDir/*.pdf; do echo "Konwertowanie $(basename "$pdf")..." && pdftotext -nopgbrk -enc UTF-8 "$pdf"; done
 :; for file in $inputDir/*.txt $inputDir/*.md; do
 :;   echo "Przetwarzanie $(basename "$file")..."
@@ -37,7 +38,8 @@
 :; echo "Osadzanie plików..."
 :; [ -f $dbFile ] && rm $dbFile
 :; ./$embedfile import $chunksFile $dbFile && echo "Gotowe! Po każdej zmianie w folderze $inputDir należy uruchomić ponownie indeksator."
-:; rm "$chunksFile"; exit $?
+:; # rm $chunksFile
+:; exit $?
 :; # Windows:
 @echo off
 setlocal enabledelayedexpansion
@@ -50,7 +52,7 @@ set overlapWords=10
 for /l %%i in (1,1,%overlapWords%) do set buf[%%i]=
 break>%chunksFile%
 if not exist %inputDir% echo Pobieranie przykładowego pliku %inputDir%\wikipedia.txt... && curl --create-dirs -Lo %inputDir%\wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true  && echo Gotowe^!
-if not exist %embedfile% echo Pobieranie %embedfile%... && curl -Lo %embedfile% https://huggingface.co/jglowa/prosty-rag/resolve/main/bge-m3.embedfile?download=true  && echo Gotowe^!
+if not exist %embedfile% echo Pobieranie %embedfile%... && curl -Lo %embedfile% https://huggingface.co/asg017/embedfile/resolve/refs%2Fpr%2F2/bge-m3.embedfile?download=true && echo Gotowe^!
 if not exist pdftotext.exe echo Pobieranie pdftotext.exe... && curl -LO https://dl.xpdfreader.com/xpdf-tools-win-4.05.zip && tar --strip-components 2 -xf xpdf-tools-win-4.05.zip xpdf-tools-win-4.05/bin64/pdftotext.exe && del xpdf-tools-win-4.05.zip && echo Gotowe^!
 echo Indeksowanie plików PDF/TXT/MD w folderze %inputDir%...
 for %%F in ("%inputDir%\*.pdf") do if not exist "%%~dpnF.txt" echo Konwertowanie %%~nxF... && pdftotext -nopgbrk -enc UTF-8 "%%~F"