FilipL009 commited on
Commit
167cd77
·
verified ·
1 Parent(s): 3460f59

Update src/streamlit_app.py

Browse files
Files changed (1) hide show
  1. src/streamlit_app.py +9 -3
src/streamlit_app.py CHANGED
@@ -25,13 +25,19 @@ def load_model():
25
  Načte model. Strategii dáme 'simple', protože hlavní spojování
26
  děláme vlastní funkcí merge_close_entities.
27
  """
28
- device = 0 if torch.cuda.is_available() else -1
 
29
  model_name = "attack-vector/SecureModernBERT-NER"
30
 
31
  tokenizer = AutoTokenizer.from_pretrained(model_name)
32
- model = AutoModelForTokenClassification.from_pretrained(model_name)
 
 
 
 
 
 
33
 
34
- # Důležité: Tady zatím batch_size neurčujeme, to až při volání
35
  pipe = pipeline(
36
  "ner",
37
  model=model,
 
25
  Načte model. Strategii dáme 'simple', protože hlavní spojování
26
  děláme vlastní funkcí merge_close_entities.
27
  """
28
+ # Force CPU settings explicitly
29
+ device = -1
30
  model_name = "attack-vector/SecureModernBERT-NER"
31
 
32
  tokenizer = AutoTokenizer.from_pretrained(model_name)
33
+
34
+ # FIX: Force eager attention and float32 for CPU Spaces
35
+ model = AutoModelForTokenClassification.from_pretrained(
36
+ model_name,
37
+ attn_implementation="eager", # Disables Flash Attention
38
+ torch_dtype=torch.float32 # Forces full precision for CPU
39
+ )
40
 
 
41
  pipe = pipeline(
42
  "ner",
43
  model=model,