File size: 3,007 Bytes
422d4ca
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
{
  "Proposed": {
    "mean_macro_f1": 0.790854835849216,
    "mean_accuracy": 0.8479555555555556,
    "per_aspect": {
      "SIZE": {
        "macro_f1": 0.8688511032834313,
        "accuracy": 0.876
      },
      "MATERIAL": {
        "macro_f1": 0.8351109775214702,
        "accuracy": 0.8648666666666667
      },
      "QUALITY": {
        "macro_f1": 0.7742721084444115,
        "accuracy": 0.8063333333333333
      },
      "APPEARANCE": {
        "macro_f1": 0.7866997719239698,
        "accuracy": 0.8634666666666667
      },
      "STYLE": {
        "macro_f1": 0.7622600117091981,
        "accuracy": 0.8287333333333333
      },
      "VALUE": {
        "macro_f1": 0.7179350422128157,
        "accuracy": 0.8483333333333334
      }
    }
  },
  "A1_no_text_meta": {
    "mean_macro_f1": 0.7405760198232086,
    "mean_accuracy": 0.7894666666666666,
    "per_aspect": {
      "SIZE": {
        "macro_f1": 0.8068747136235311,
        "accuracy": 0.8090666666666667
      },
      "MATERIAL": {
        "macro_f1": 0.8128940857458821,
        "accuracy": 0.8442
      },
      "QUALITY": {
        "macro_f1": 0.7185149356332249,
        "accuracy": 0.7352666666666666
      },
      "APPEARANCE": {
        "macro_f1": 0.6981066845508933,
        "accuracy": 0.7523333333333333
      },
      "STYLE": {
        "macro_f1": 0.7065456106077872,
        "accuracy": 0.7587333333333334
      },
      "VALUE": {
        "macro_f1": 0.7005200887779329,
        "accuracy": 0.8372
      }
    }
  },
  "A2_no_numeric_meta": {
    "mean_macro_f1": 0.7556072889209918,
    "mean_accuracy": 0.8053,
    "per_aspect": {
      "SIZE": {
        "macro_f1": 0.8261798151548717,
        "accuracy": 0.8282
      },
      "MATERIAL": {
        "macro_f1": 0.7622481835378002,
        "accuracy": 0.7784666666666666
      },
      "QUALITY": {
        "macro_f1": 0.7470141599939275,
        "accuracy": 0.7757333333333334
      },
      "APPEARANCE": {
        "macro_f1": 0.75832091109464,
        "accuracy": 0.8269333333333333
      },
      "STYLE": {
        "macro_f1": 0.7282681172699741,
        "accuracy": 0.7826
      },
      "VALUE": {
        "macro_f1": 0.7116125464747367,
        "accuracy": 0.8398666666666667
      }
    }
  },
  "A3_concat_fusion": {
    "mean_macro_f1": 0.7891864169696635,
    "mean_accuracy": 0.8470222222222222,
    "per_aspect": {
      "SIZE": {
        "macro_f1": 0.8673939825303104,
        "accuracy": 0.8746666666666667
      },
      "MATERIAL": {
        "macro_f1": 0.8271559495053421,
        "accuracy": 0.8584666666666667
      },
      "QUALITY": {
        "macro_f1": 0.7772450897602642,
        "accuracy": 0.8106
      },
      "APPEARANCE": {
        "macro_f1": 0.7811169194295688,
        "accuracy": 0.8627333333333334
      },
      "STYLE": {
        "macro_f1": 0.7616829060410565,
        "accuracy": 0.8259333333333333
      },
      "VALUE": {
        "macro_f1": 0.7205236545514385,
        "accuracy": 0.8497333333333333
      }
    }
  }
}