Upload main.py
Browse files
main.py
CHANGED
|
@@ -12,7 +12,7 @@ app = FastAPI(
|
|
| 12 |
)
|
| 13 |
|
| 14 |
# 艢cie偶ka do modelu - Hugging Face automatycznie pobierze model
|
| 15 |
-
MODEL_NAME = "
|
| 16 |
generator = None # Zostanie za艂adowany p贸藕niej
|
| 17 |
|
| 18 |
# Model wej艣ciowy dla POST request
|
|
@@ -59,6 +59,7 @@ async def generate_text(request: GenerationRequest):
|
|
| 59 |
"""
|
| 60 |
Endpoint do generowania tekstu na podstawie promptu.
|
| 61 |
"""
|
|
|
|
| 62 |
if generator is None:
|
| 63 |
raise HTTPException(status_code=503, detail="Model nie zosta艂 za艂adowany lub wyst膮pi艂 b艂膮d.")
|
| 64 |
|
|
@@ -68,7 +69,7 @@ async def generate_text(request: GenerationRequest):
|
|
| 68 |
max_new_tokens=request.max_new_tokens,
|
| 69 |
temperature=request.temperature,
|
| 70 |
top_p=request.top_p,
|
| 71 |
-
do_sample=True # Wa偶ne dla generowania z temperatur膮
|
| 72 |
)
|
| 73 |
# Pipeline zwraca list臋 s艂ownik贸w, bierzemy pierwszy wynik
|
| 74 |
return {"generated_text": generated_text[0]["generated_text"]}
|
|
|
|
| 12 |
)
|
| 13 |
|
| 14 |
# 艢cie偶ka do modelu - Hugging Face automatycznie pobierze model
|
| 15 |
+
MODEL_NAME = "speakleash/Bielik-1.5B-v3.0-Instruct"
|
| 16 |
generator = None # Zostanie za艂adowany p贸藕niej
|
| 17 |
|
| 18 |
# Model wej艣ciowy dla POST request
|
|
|
|
| 59 |
"""
|
| 60 |
Endpoint do generowania tekstu na podstawie promptu.
|
| 61 |
"""
|
| 62 |
+
print(request)
|
| 63 |
if generator is None:
|
| 64 |
raise HTTPException(status_code=503, detail="Model nie zosta艂 za艂adowany lub wyst膮pi艂 b艂膮d.")
|
| 65 |
|
|
|
|
| 69 |
max_new_tokens=request.max_new_tokens,
|
| 70 |
temperature=request.temperature,
|
| 71 |
top_p=request.top_p,
|
| 72 |
+
do_sample=True, # Wa偶ne dla generowania z temperatur膮
|
| 73 |
)
|
| 74 |
# Pipeline zwraca list臋 s艂ownik贸w, bierzemy pierwszy wynik
|
| 75 |
return {"generated_text": generated_text[0]["generated_text"]}
|