Hugging Face's logo

RESMP-DEV
/
LFM2.5-Encoder-350M-Code-BF16

Feature Extraction
Transformers
Safetensors
PyTorch
lfm2
code
embeddings
bf16
custom_code
Model card Files
xet
 Community
LFM2.5-Encoder-350M-Code-BF16
File size: 5,097 Bytes
0bf9869
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
{
  "artifact_bytes": 713740038,
  "corpus": "/Users/kearm/datasets/calibrated-code-embeddings/corpus-v2/test.jsonl",
  "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315",
  "input_limits": {
    "max_passage_chars": 4000,
    "max_query_chars": 1200,
    "passage_tokens": 2048,
    "query_tokens": 512
  },
  "language_counts": {
    "c": 95,
    "cpp": 750,
    "cuda": 1,
    "go": 750,
    "java": 750,
    "javascript": 750,
    "php": 750,
    "python": 750,
    "ruby": 750,
    "rust": 750,
    "shell": 6,
    "swift": 1,
    "toml": 129,
    "typescript": 750,
    "yaml": 13
  },
  "mlx_peak_memory_bytes": 1551146738,
  "model_path": "artifacts/LFM2.5-Encoder-350M-Code-BF16",
  "passage_seconds": 505.6955839579459,
  "passages_per_second": 13.832432439397593,
  "quantization": "bf16",
  "queries_per_second": 252.47090862678058,
  "query_seconds": 27.706162417074665,
  "samples": 6995,
  "schema_version": 1,
  "slices": {
    "all": {
      "mean_rank": 331.0953538241601,
      "mrr": 0.3704795643671784,
      "ndcg_at_10": 0.3962709744776596,
      "recall_at_1": 0.29964260185847036,
      "recall_at_10": 0.5060757684060043,
      "recall_at_5": 0.4421729807005004
    },
    "c": {
      "mean_rank": 20.54736842105263,
      "mrr": 0.21095173924886765,
      "ndcg_at_10": 0.2569881104925872,
      "recall_at_1": 0.08421052631578947,
      "recall_at_10": 0.47368421052631576,
      "recall_at_5": 0.3368421052631579,
      "samples": 95
    },
    "cpp": {
      "mean_rank": 238.18133333333333,
      "mrr": 0.06537377415958481,
      "ndcg_at_10": 0.07290200700406414,
      "recall_at_1": 0.032,
      "recall_at_10": 0.128,
      "recall_at_5": 0.07866666666666666,
      "samples": 750
    },
    "cuda": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "go": {
      "mean_rank": 13.856,
      "mrr": 0.6284409286203163,
      "ndcg_at_10": 0.6613684484965817,
      "recall_at_1": 0.5386666666666666,
      "recall_at_10": 0.7866666666666666,
      "recall_at_5": 0.732,
      "samples": 750
    },
    "java": {
      "mean_rank": 48.13066666666667,
      "mrr": 0.4015390314240865,
      "ndcg_at_10": 0.4330160179199639,
      "recall_at_1": 0.31066666666666665,
      "recall_at_10": 0.5733333333333334,
      "recall_at_5": 0.48933333333333334,
      "samples": 750
    },
    "javascript": {
      "mean_rank": 64.01466666666667,
      "mrr": 0.3897290967353729,
      "ndcg_at_10": 0.41958737996866924,
      "recall_at_1": 0.30666666666666664,
      "recall_at_10": 0.5493333333333333,
      "recall_at_5": 0.4693333333333333,
      "samples": 750
    },
    "php": {
      "mean_rank": 14.493333333333334,
      "mrr": 0.6702037333407703,
      "ndcg_at_10": 0.7097228078687818,
      "recall_at_1": 0.576,
      "recall_at_10": 0.8506666666666667,
      "recall_at_5": 0.7706666666666667,
      "samples": 750
    },
    "python": {
      "mean_rank": 10.653333333333334,
      "mrr": 0.7968788884159944,
      "ndcg_at_10": 0.8125410804494589,
      "recall_at_1": 0.7493333333333333,
      "recall_at_10": 0.8733333333333333,
      "recall_at_5": 0.8493333333333334,
      "samples": 750
    },
    "ruby": {
      "mean_rank": 24.136,
      "mrr": 0.5742627443997549,
      "ndcg_at_10": 0.6203685978482657,
      "recall_at_1": 0.456,
      "recall_at_10": 0.7866666666666666,
      "recall_at_5": 0.7146666666666667,
      "samples": 750
    },
    "rust": {
      "mean_rank": 74.88933333333334,
      "mrr": 0.29005996933100103,
      "ndcg_at_10": 0.32692189533181065,
      "recall_at_1": 0.18933333333333333,
      "recall_at_10": 0.4826666666666667,
      "recall_at_5": 0.4,
      "samples": 750
    },
    "shell": {
      "mean_rank": 1.8333333333333333,
      "mrr": 0.6944444444444445,
      "ndcg_at_10": 0.7718216255952429,
      "recall_at_1": 0.5,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 6
    },
    "swift": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "toml": {
      "mean_rank": 62.14728682170543,
      "mrr": 0.055453269943213854,
      "ndcg_at_10": 0.051546001215105754,
      "recall_at_1": 0.015503875968992248,
      "recall_at_10": 0.10077519379844961,
      "recall_at_5": 0.06201550387596899,
      "samples": 129
    },
    "typescript": {
      "mean_rank": 128.44933333333333,
      "mrr": 0.19172971814726994,
      "ndcg_at_10": 0.20842580625692433,
      "recall_at_1": 0.12533333333333332,
      "recall_at_10": 0.30933333333333335,
      "recall_at_5": 0.24266666666666667,
      "samples": 750
    },
    "yaml": {
      "mean_rank": 6.153846153846154,
      "mrr": 0.3277453315914854,
      "ndcg_at_10": 0.4153737804972049,
      "recall_at_1": 0.15384615384615385,
      "recall_at_10": 0.7692307692307693,
      "recall_at_5": 0.46153846153846156,
      "samples": 13
    }
  }
}