utils.py

from transformers import pipeline

# Pipeline'ı global olarak oluşturuyoruz
pipe = pipeline("text2text-generation", model="google/t5-v1_1-small", device="cpu")

def split_text_into_chunks(text, chunk_size=1000):
    """
    Metni belirli sayıda kelimelik parçalara böler.
    """
    words = text.split()
    chunks = []
    for i in range(0, len(words), chunk_size):
        chunk = ' '.join(words[i:i+chunk_size])
        chunks.append(chunk)
    return chunks

def generate_lesson_from_chunks(chunks):
    """
    Modeli her parça için çalıştırıp sonucu döndüren fonksiyon.
    """
    generated_texts = []
    for chunk in chunks:
        generated_text = pipe(chunk, max_length=500)[0]['generated_text']
        generated_texts.append(generated_text)
    return ' '.join(generated_texts)

def process_large_text(text):
    """
    Büyük metni işleyecek ve sonucu döndürecek fonksiyon.
    """
    chunks = split_text_into_chunks(text, chunk_size=1000)
    generated_text = generate_lesson_from_chunks(chunks)
    return generated_text