Alecit1234/modelo_finanzas_peru_v1

SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 128 tokens
• Number of Classes: 20 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0	'menu en el chifa de la esquina 15.90' 'almuerzo rapido en tambo 12 soles' 'desayuno pan con pollo y emoliente 9.50'
1	'compras básicas en plaza vea 34.20' 'jabon y pasta dental tottus 18.40' 'pollo entero mercado 14.90'
2	'recarga de la tarjeta del metropolitano 10 soles' 'pasaje de combi a la chamba 2.50' 'corredor amarillo 3.20'
3	'uber a casa 9.50' 'indriver para ir a la oficina 7 soles' 'didi para recoger un paquete 8.90'
4	'entré al cine con mi causa y compré canchita 32 soles' 'unas chelas en el bar de la esquina 18.50' 'pagué entrada para el concierto de la banda 120 soles'
5	'pagué la matrícula de la universidad 320.00' 'curso de python en udemy 29.90' 'suscripción mensual a platzi 49.00'
6	'compré un mouse logitech en oferta 49.90' 'me compré un cable usb c en radioshack 12.00' 'pagos de chatgpt plus 80.24'
7	'pagué mi recibo de luz enel 58.20' 'agua sedapal este mes 32.10' 'pagos movistar hogar 89.00'
8	'pagué mi mensualidad del smartfit 89.90' 'compré proteína whey en oferta 120' 'clase de baile urbano 25 soles'
9	'compré medicinas de emergencia 25.90' 'pagos al cerrajero porque perdí las llaves 40' 'se rompió mi cargador y compré uno urgente 15'
10	'pedí un combo en rappi porque me dio flojera cocinar 24.90' 'pago de envío en pedidosya 4.50' 'me traje una hamburguesa por rappi 18 soles'
11	'compré croquetas para mi perro 22.50' 'arena para gato 14.90' 'pagué vacuna anual de mi perro 60'
12	'le mandé a mi mamá para su comida de la semana 40 soles' 'yape para mi hermano que estaba sin saldo 10 soles' 'apoyo a mi papá para la luz del mes 50'
13	'compré pastillas para el dolor de cabeza 12.50' 'pagué consulta general en la clínica 45' 'compré jarabe para la tos 18.40'
14	'la beca me depositó 1250 este mes' 'me cayó la manutención de la beca 1500' 'ya entró el pago mensual de la beca 980.50'
15	'me depositaron el sueldo de este mes 2300' 'ya cayó mi quincena 1150 soles' 'pago de planilla recibido 2450'
16	'mi papá me mandó 200 por yape' 'mi mamá me depositó 150 para la semana' 'la abuela me envió 100 para mis cosas'
17	'vendí mi iphone usado por 900 soles' 'me pagaron por la venta de mis zapatillas 120' 'vendí mi silla gamer en marketplace 350'
18	'me pagaron por el diseño del logo 150 soles' 'cayó el pago de un cliente de la chamba extra 120' 'me depositaron por editar un video 80'
19	'me reembolsaron 80 soles del trabajo' 'cayó devolución de impuestos 120' 'gané un sorteo chico de 50 soles'

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("setfit_model_id")
# Run inference
preds = model("short deportivo en saga 35 soles")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	6.2562	13

Label	Training Sample Count
0	30
1	30
2	30
3	30
4	30
5	30
6	30
7	30
8	30
9	30
10	30
11	30
12	30
13	30
14	30
15	30
16	30
17	30
18	30
19	31

Training Hyperparameters

• batch_size: (16, 16)
• num_epochs: (2, 2)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 20
• body_learning_rate: (2e-05, 2e-05)
• head_learning_rate: 2e-05
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0007	1	0.2458	-
0.0333	50	0.2164	-
0.0665	100	0.1939	-
0.0998	150	0.178	-
0.1331	200	0.1505	-
0.1663	250	0.125	-
0.1996	300	0.0965	-
0.2329	350	0.0782	-
0.2661	400	0.0642	-
0.2994	450	0.0626	-
0.3327	500	0.05	-
0.3659	550	0.0403	-
0.3992	600	0.0449	-
0.4325	650	0.0341	-
0.4657	700	0.0285	-
0.4990	750	0.0188	-
0.5323	800	0.0208	-
0.5655	850	0.0225	-
0.5988	900	0.0173	-
0.6321	950	0.0179	-
0.6653	1000	0.0147	-
0.6986	1050	0.0178	-
0.7319	1100	0.0105	-
0.7651	1150	0.0115	-
0.7984	1200	0.0075	-
0.8317	1250	0.0143	-
0.8649	1300	0.0121	-
0.8982	1350	0.011	-
0.9315	1400	0.0094	-
0.9647	1450	0.0115	-
0.9980	1500	0.0085	-
1.0313	1550	0.0039	-
1.0645	1600	0.0049	-
1.0978	1650	0.0047	-
1.1311	1700	0.0085	-
1.1643	1750	0.0038	-
1.1976	1800	0.0049	-
1.2309	1850	0.0081	-
1.2641	1900	0.0051	-
1.2974	1950	0.0025	-
1.3307	2000	0.0025	-
1.3639	2050	0.0059	-
1.3972	2100	0.004	-
1.4305	2150	0.003	-
1.4637	2200	0.003	-
1.4970	2250	0.0013	-
1.5303	2300	0.0023	-
1.5635	2350	0.0039	-
1.5968	2400	0.0031	-
1.6301	2450	0.0015	-
1.6633	2500	0.0019	-
1.6966	2550	0.0034	-
1.7299	2600	0.0016	-
1.7631	2650	0.0029	-
1.7964	2700	0.0041	-
1.8297	2750	0.0011	-
1.8629	2800	0.002	-
1.8962	2850	0.003	-
1.9295	2900	0.0038	-
1.9627	2950	0.004	-
1.9960	3000	0.0029	-

Framework Versions

• Python: 3.10.19
• SetFit: 1.1.3
• Sentence Transformers: 5.1.2
• Transformers: 4.57.1
• PyTorch: 2.9.1+cpu
• Datasets: 4.4.1
• Tokenizers: 0.22.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}