Update utils.py

utils.py

@@ -1,12 +1,44 @@
-from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
+from transformers import pipeline  #, AutoTokenizer, AutoModelForCausalLM
 
+def split_text_into_chunks(text, chunk_size=1000):
+    """
+    Metni belirli sayıda kelimelik parçalara böler.
+    """
+    words = text.split()  # Metni kelimelere bölelim
+    chunks = []
+    for i in range(0, len(words), chunk_size):
+        chunk = ' '.join(words[i:i+chunk_size])  # Belirli sayıda kelimelik parça oluştur
+        chunks.append(chunk)
+    return chunks
+
+def generate_lesson_from_chunks(chunks):
+    """
+    Modeli her parça için çalıştırıp sonucu döndüren fonksiyon.
+    """
+    pipe = pipeline("text-generation", model="jondurbin/airoboros-gpt-3.5-turbo-100k-7b", device="cpu")
+    generated_texts = []
+    for chunk in chunks:
+        generated_text = pipe(chunk, max_length=500)[0]['generated_text']  # Her parça için metin üret
+        generated_texts.append(generated_text)
+    return ' '.join(generated_texts)  # Tüm parçaları birleştir
+
+def process_large_text(text):
+    """
+    Büyük metni işleyecek ve sonucu döndürecek fonksiyon.
+    """
+    chunks = split_text_into_chunks(text, chunk_size=1000)  # Metni parçalara böl
+    generated_text = generate_lesson_from_chunks(chunks)  # Her parçayı işleyip birleştir
+    return generated_text
+
+"""
 def create_pipeline(model_name: str):
     """
-    Belirtilen model için bir text-generation pipeline'ı oluşturur.
+    # Belirtilen model için bir text-generation pipeline'ı oluşturur.
     """
     # Tokenizer ve model oluşturuluyor
     tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True, legacy=False)
     model = AutoModelForCausalLM.from_pretrained(model_name)
 
     # Text generation pipeline'ı döndür
-    return pipeline("text-generation", model=model, tokenizer=tokenizer, device="cpu")
+    return pipeline("text-generation", model=model, tokenizer=tokenizer, device="cpu")
+"""