GurgenGulay commited on
Commit
3ea41c2
·
verified ·
1 Parent(s): 810b3ba

Update utils.py

Browse files
Files changed (1) hide show
  1. utils.py +1 -3
utils.py CHANGED
@@ -1,4 +1,4 @@
1
- from transformers import pipeline #, AutoTokenizer, AutoModelForCausalLM
2
 
3
  def split_text_into_chunks(text, chunk_size=1000):
4
  """
@@ -30,7 +30,6 @@ def process_large_text(text):
30
  generated_text = generate_lesson_from_chunks(chunks) # Her parçayı işleyip birleştir
31
  return generated_text
32
 
33
- """
34
  def create_pipeline(model_name: str):
35
  # Belirtilen model için bir text-generation pipeline'ı oluşturur.
36
 
@@ -40,4 +39,3 @@ def create_pipeline(model_name: str):
40
 
41
  # Text generation pipeline'ı döndür
42
  return pipeline("text-generation", model=model, tokenizer=tokenizer, device="cpu")
43
- """
 
1
+ from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
2
 
3
  def split_text_into_chunks(text, chunk_size=1000):
4
  """
 
30
  generated_text = generate_lesson_from_chunks(chunks) # Her parçayı işleyip birleştir
31
  return generated_text
32
 
 
33
  def create_pipeline(model_name: str):
34
  # Belirtilen model için bir text-generation pipeline'ı oluşturur.
35
 
 
39
 
40
  # Text generation pipeline'ı döndür
41
  return pipeline("text-generation", model=model, tokenizer=tokenizer, device="cpu")