evaluation/custom_argument_eval_metrics.json

{
  "n_examples": 48,
  "accuracy": 0.6875,
  "macro_f1": 0.6774267399267399,
  "classification_report": {
    "claim": {
      "precision": 1.0,
      "recall": 0.5,
      "f1-score": 0.6666666666666666,
      "support": 12.0
    },
    "counter_claim": {
      "precision": 0.75,
      "recall": 1.0,
      "f1-score": 0.8571428571428571,
      "support": 12.0
    },
    "premise": {
      "precision": 0.7142857142857143,
      "recall": 0.8333333333333334,
      "f1-score": 0.7692307692307693,
      "support": 12.0
    },
    "unknown": {
      "precision": 0.4166666666666667,
      "recall": 0.4166666666666667,
      "f1-score": 0.4166666666666667,
      "support": 12.0
    },
    "accuracy": 0.6875,
    "macro avg": {
      "precision": 0.7202380952380952,
      "recall": 0.6875,
      "f1-score": 0.6774267399267399,
      "support": 48.0
    },
    "weighted avg": {
      "precision": 0.7202380952380952,
      "recall": 0.6875,
      "f1-score": 0.67742673992674,
      "support": 48.0
    }
  },
  "confusion_matrix": {
    "labels": [
      "claim",
      "counter_claim",
      "premise",
      "unknown"
    ],
    "matrix": [
      [
        6,
        0,
        0,
        6
      ],
      [
        0,
        12,
        0,
        0
      ],
      [
        0,
        1,
        10,
        1
      ],
      [
        0,
        3,
        4,
        5
      ]
    ]
  },
  "predictions_csv": "evaluation\\custom_argument_eval_predictions.csv"
}