added wake up request

chat-ui/src/lib/server/websearch/parseNalogGovRu.ts

@@ -20,16 +20,20 @@ export async function parseNalogGovRu(url: string) {
 
 	const { document } = dom.window;
 	const textElTags = "h1, .wrap-content p";
-	const paragraphs = document.querySelectorAll(textElTags);
+	let paragraphs = document.querySelectorAll(textElTags);
 	if (!paragraphs.length) {
-		throw new Error(`Произошла ошибка при обработке страницы. Возможно, на сайте включена защита от ботов.`);
+		const fallbackElTags = "p";
+		paragraphs = document.querySelectorAll(fallbackElTags);
+		if (!paragraphs.length) {
+			throw new Error(`Произошла ошибка при обработке страницы. Возможно, на сайте включена защита от ботов.`);
+		}
 	}
 	const paragraphTexts = Array.from(paragraphs).map((p) => p.textContent);
 
 	// combine text contents from paragraphs and then remove newlines and multiple spaces
 	const text = paragraphTexts.filter(t => t !== "")
-								.map(t => !t?.endsWith('.') ? t+'.' : t)
-								.join(" ")
-								.replace(/ {2}|\r\n|\n|\r/gm, "");
+		.map(t => !t?.endsWith('.') ? t + '.' : t)
+		.join(" ")
+		.replace(/ {2}|\r\n|\n|\r/gm, "");
 	return text;
 }

chat-ui/src/lib/server/websearch/runWebSearch.ts

@@ -109,7 +109,6 @@ export async function runWebSearch(
 
 		if(texts && text.length > 0){
 			appendUpdate("Получение релевантной информации");
-			console.log('raw texts:', texts);
 
 			const indices = await findSimilarSentences(prompt, texts.map((t) => t.text));//, { topK: topKClosestParagraphs});
 			console.log('similarity check result:', indices);

chat-ui/src/routes/conversation/[id]/+server.ts

@@ -127,6 +127,17 @@ export async function POST({ request, fetch, locals, params, getClientAddress })
 	const stream = new ReadableStream({
 		async start(controller) {
 			console.log('conversation start')
+			// fetch the endpoint
+			const randomEndpoint = modelEndpoint(model);
+
+			// waking up instance
+			fetch(randomEndpoint.url, {
+				method: 'GET',
+				headers: {
+					'Content-Type': 'application/json',
+				}
+			});
+
 			const updates: MessageUpdate[] = [];
 
 			function update(newUpdate: MessageUpdate) {
@@ -145,8 +156,6 @@ export async function POST({ request, fetch, locals, params, getClientAddress })
 			}
 			
 			
-			// fetch the endpoint
-			const randomEndpoint = modelEndpoint(model);
 			let usedFetch = fetch;
 
 			async function saveLast(generated_text: string) {