Update indeksator.cmd

indeksator.cmd

@@ -1,20 +1,21 @@
-:; # Indeksator Prosty RAG v0.3 - Jerzy Głowacki na licencji Apache 2.0
+:; shopt -s nullglob expand_aliases || setopt nullglob aliases; alias @set='' @echo='echo'
+@echo Indeksator Prosty RAG v0.4 - Jerzy Glowacki na licencji Apache 2.0
+:; # Zmienne:
+@set embedfile=bge-m3.embedfile
+@set inputDir=baza
+@set chunksFile=chunks.txt
+@set dbFile=prosty-rag.db
+@set chunkWords=200
+@set overlapWords=20
 :; # *NIX:
 :; OS=$(uname -s | sed -e 's/^Linux$/linux/' -e 's/^Darwin$/mac/')
-:; embedfile="bge-m3.embedfile"
-:; inputDir="baza"
-:; chunksFile="chunks.txt"
-:; dbFile="prosty-rag.db"
-:; chunkWords=200
-:; overlapWords=20
-:; > $chunksFile
+:; >$chunksFile
 :; # Instalacja
 :; [ ! -d $inputDir ] && echo Pobieranie przykładowego pliku $inputDir/wikipedia.txt... && curl --create-dirs -Lo $inputDir/wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true && echo Gotowe!
 :; [ ! -f $embedfile ] && echo Pobieranie $embedfile... && curl -Lo $embedfile https://huggingface.co/asg017/embedfile/resolve/refs%2Fpr%2F2/bge-m3.embedfile?download=true && chmod +x $embedfile && echo Gotowe!
 :; [ ! -f pdftotext ] && echo Pobieranie pdftotext... && curl -LO https://dl.xpdfreader.com/xpdf-tools-$OS-4.05.tar.gz && tar --strip-components 2 -xzf xpdf-tools-$OS-4.05.tar.gz xpdf-tools-$OS-4.05/bin64/pdftotext && rm xpdf-tools-$OS-4.05.tar.gz && echo Gotowe!
 :; # Uruchamianie
 :; echo "Indeksowanie plików PDF/TXT/MD/CSV w folderze $inputDir..."
-:; shopt -s nullglob
 :; for pdf in $inputDir/*.pdf; do [ ! -f "${pdf%.pdf}.txt" ] && echo "Konwertowanie $(basename "$pdf")..." && pdftotext -nopgbrk -enc UTF-8 "$pdf"; done
 :; for csv in $inputDir/*.csv; do [ ! -f "${csv%.csv}.txt" ] && echo "Konwertowanie $(basename "$csv")..." && awk -F, -vFPAT='([^,]*)|("([^"]|"")+")' 'NR==1{for(i=1;i<=NF;i++) h[i]=$i; next} {for(i=1;i<=NF;i++) printf "%s: %s%s", h[i], $i, (i<NF? ", ":".\n")}' "$csv" > "${csv%.csv}.txt"; done
 :; for file in $inputDir/*.txt $inputDir/*.md; do
@@ -29,20 +30,15 @@
 :;     ((start += chunkWords - overlapWords))
 :;   done
 :; done
-:; echo "Osadzanie plików..."
+:; echo "Osadzanie plików w bazie danych..."
 :; [ -f $dbFile ] && rm $dbFile
-:; ./$embedfile import $chunksFile $dbFile && echo "Gotowe! Po każdej zmianie w folderze $inputDir należy uruchomić ponownie indeksator."
+:; ./$embedfile import $chunksFile $dbFile && ./$embedfile sh $dbFile "CREATE VIRTUAL TABLE fts_items USING fts5(line, tokenize='porter')" "INSERT INTO fts_items SELECT * FROM items" && echo "Gotowe! Po każdej zmianie w folderze $inputDir należy uruchomić ponownie indeksator."
 :; rm $chunksFile; exit $?
 :; # Windows:
 @echo off
 chcp 65001 >nul
+title Prosty RAG
 setlocal enabledelayedexpansion
-set embedfile=bge-m3.embedfile
-set inputDir=baza
-set chunksFile=chunks.txt
-set dbFile=prosty-rag.db
-set chunkWords=200
-set overlapWords=20
 for /l %%i in (1,1,%overlapWords%) do set buf[%%i]=
 break>%chunksFile%
 :; # Instalacja
@@ -79,9 +75,9 @@ for %%F in ("%inputDir%\*.txt" "%inputDir%\*.md") do (
     echo.
   )>>%chunksFile%
 )
-echo Osadzanie plików...
+echo Osadzanie plików w bazie danych...
 if exist %dbFile% del %dbFile%
-%embedfile% import %chunksFile% %dbFile% && echo Gotowe^^! Po każdej zmianie w folderze %inputDir% należy uruchomić ponownie indeksator.
+%embedfile% import %chunksFile% %dbFile% && %embedfile% sh %dbFile% "CREATE VIRTUAL TABLE fts_items USING fts5(line, tokenize='porter')" "INSERT INTO fts_items SELECT * FROM items" && echo Gotowe^^! Po każdej zmianie w folderze %inputDir% należy uruchomić ponownie indeksator.
 del %chunksFile%
 endlocal
 pause