Update handler.py
Browse files- handler.py +2 -2
handler.py
CHANGED
|
@@ -49,8 +49,8 @@ from llava.utils import disable_torch_init
|
|
| 49 |
# def get_model_name_from_path() artık gerekli değil
|
| 50 |
|
| 51 |
# Varsayılanlar
|
| 52 |
-
DEFAULT_CONV_MODE = os.getenv("LLAVA_CONV_MODE", "
|
| 53 |
-
MAX_NEW_TOKENS_DEF = int(os.getenv("MAX_NEW_TOKENS", "
|
| 54 |
# ATTN_IMPLEMENTATION artık otomatik seçiliyor, bu satırı kaldırıyoruz
|
| 55 |
|
| 56 |
class EndpointHandler:
|
|
|
|
| 49 |
# def get_model_name_from_path() artık gerekli değil
|
| 50 |
|
| 51 |
# Varsayılanlar
|
| 52 |
+
DEFAULT_CONV_MODE = os.getenv("LLAVA_CONV_MODE", "llava_v1")
|
| 53 |
+
MAX_NEW_TOKENS_DEF = int(os.getenv("MAX_NEW_TOKENS", "1024"))
|
| 54 |
# ATTN_IMPLEMENTATION artık otomatik seçiliyor, bu satırı kaldırıyoruz
|
| 55 |
|
| 56 |
class EndpointHandler:
|