added summary prompt

app.py

@@ -15,6 +15,25 @@ def format_prompt(message, history):
   prompt += f"[INST] {message} [/INST]"
   return prompt
 
+def split_text(text):
+    max_chars = 3500
+    sentences = text.split('.')
+    lines = []
+    for sentence in sentences:
+        lines.extend(sentence.split('\n'))
+
+    result = []
+    current_chunk = ''
+    for line in lines:
+        if len(current_chunk) + len(line) < max_chars:
+            current_chunk += line + '.'
+        else:
+            result.append(current_chunk.strip())
+            current_chunk = line + '.'
+    if current_chunk:
+        result.append(current_chunk.strip())
+    return result
+
 def generate(
     prompt, history=[], temperature=0, max_new_tokens=2000, top_p=0.95, repetition_penalty=1.0,
 ):
@@ -61,11 +80,14 @@ def completion_route():
 def getsummary_route():
     data = request.get_json()
     text = data.get('text', '')
+    pages = split_text(text)
+    result = ''
+    for page in pages:
+        summary_prompt = f'''<s>[INST]выпиши из текста в виде трех списков 1.какие вопросы, темы обсуждались, 2. какие проблемы были озвучены 3. какие предложения были сформулированы: {page}[/INST]'''
+        response = generate(summary_prompt[:52000])
+        result = result + '\n'+response
     
-    summary_prompt = f'''<s>[INST]Ты ассистент. Отвечаешь на русском языке. Сформируй краткое изложение следующего текста: {text}[/INST]'''
-    response = generate(summary_prompt[:52000])
-    
-    return jsonify({'result': response})
+    return jsonify({'result': result})
 
 @app.route('/cleantext', methods=['POST'])
 def cleantext_route():