eoplumbum/polish-herbert-expert-missing-info

Model finetuned to access, how many of the expert suggestion have been adressed by the Refine Agent during article refinement process.

Test set

Dataset	Accuracy	F1	Precision	Recall
Test	0.8409	0.8304	0.8344	0.8298

Validation set

eval_loss	Accuracy	F1	Precision	Recall
0.5565	0.8311	0.8202	0.8270	0.8195

Labels

Mapping from class IDs to class labels

id2label = {
    0: 'Analiza systemów energetycznych: porównanie różnych scenariuszy wykorzystania źródeł energii odnawialnej, magazynów energii i gazu ziemnego',
    1: 'Społeczna akceptacja inwestycji i planowanie komunikacji społecznej',
    2: 'Analiza i rozwój krajowego łańcucha dostaw energii jądrowej',
    3: 'Bezpieczeństwo reaktorów jądrowych - analiza danych historycznych i porównawcza',
    4: 'Tempo produkcji broni jądrowej przez Koreę Północną',
    5: 'Harmonogram procedur regulacyjnych i budowlanych projektu jądrowego',
    6: 'Bezpieczeństwo elektrowni jądrowej Akkuyu - raporty inspekcyjne MAEA i niezależne audyty ekspertów',
    7: 'Ocena ryzyka awarii jądrowej poprzez modelowanie scenariuszy awaryjnych i rozprzestrzeniania emisji radionuklidów',
    8: 'Zasilanie awaryjne i systemy chłodzenia - raport szczegółowy',
    9: 'Struktura finansowania projektów inwestycyjnych',
    10: 'Planowanie i ćwiczenia transgranicznej ochrony ludności przed zagrożeniami radiacyjnymi',
    11: 'Analiza wrażliwości projektów energetycznych na opóźnienia i przekroczenia kosztów',
    12: 'Analiza prawno-międzynarodowa i strategiczna dotycząca użycia broni jądrowej przez Rosję oraz potencjalnych reakcji międzynarodowych',
    13: 'Analiza porównawcza kosztów energii jądrowej i odnawialnej',
    14: 'Dokumentacja dotycząca personelu operacyjnego i procedur awaryjnych',
    15: 'Pomiary radioaktywne i ich analiza',
    16: 'Umowy EPC i transfer technologii - warunki i zapisy kontraktowe',
    17: 'Gospodarka odpadami promieniotwórczymi - zarządzanie, składowanie i długoterminowe rozwiązania',
    18: 'Analiza porównawcza projektów jądrowych - opóźnienia, koszty i ryzyko',
    19: 'Dowody naukowe i dane dotyczące wpływu energetyki jądrowej na środowisko i zdrowie ludzkie'
}

Usage Example

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

# Load model and tokenizer from Hugging Face
model_name = "eoplumbum/polish-herbert-expert-missing-info"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

# Example text
text = "Koszty ekonomiczne: inwestycja, eksploatacja, demontaż i utylizacja paliwa vs alternatywy grzewcze"

# Tokenize the text
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)

# Get predictions
with torch.no_grad():
    outputs = model(**inputs)
    probs = outputs.logits.softmax(dim=1)
    pred_idx = probs.argmax(dim=1).item()

# Map predicted index to label
pred_label = model.config.id2label[pred_idx]

print(f"Prediction: {pred_label}, Probabilities: {probs}")