Update modeling_tinyllava_phi.py
Browse files
modeling_tinyllava_phi.py
CHANGED
|
@@ -284,7 +284,10 @@ class TinyLlavaPreTrainedModel(PreTrainedModel):
|
|
| 284 |
|
| 285 |
class TinyLlavaForConditionalGeneration(TinyLlavaPreTrainedModel):
|
| 286 |
def __init__(self, config: TinyLlavaConfig):
|
| 287 |
-
|
|
|
|
|
|
|
|
|
|
| 288 |
super().__init__(config)
|
| 289 |
|
| 290 |
self.language_model = PhiForCausalLM(config.text_config)
|
|
|
|
| 284 |
|
| 285 |
class TinyLlavaForConditionalGeneration(TinyLlavaPreTrainedModel):
|
| 286 |
def __init__(self, config: TinyLlavaConfig):
|
| 287 |
+
# Cette ligne est la correction. Nous créons un dictionnaire
|
| 288 |
+
# vide et le passons comme argument. La valeur de `_supports_sdpa`
|
| 289 |
+
# est lue depuis ce dictionnaire.
|
| 290 |
+
config.vision_config._supports_sdpa = True
|
| 291 |
super().__init__(config)
|
| 292 |
|
| 293 |
self.language_model = PhiForCausalLM(config.text_config)
|