mini1013/master_cate_fi13

SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: mini1013/master_domain
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 512 tokens
• Number of Classes: 9 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1.0	'지누스 클라우드 럭스S 스프링 매트리스 30cm SS 가구/인테리어>침실가구>매트리스>슈퍼싱글매트리스' '지누스 클라우드 에어 메모리폼 매트리스 30cm Q 가구/인테리어>침실가구>매트리스>퀸매트리스' '지누스 클라우드 럭스S 메모리폼 매트리스 35cm Q 가구/인테리어>침실가구>매트리스>퀸매트리스'
8.0	'풀커버링 특대형 화장품 정리함 화장대 향수 보관함 3 colors 가구/인테리어>침실가구>화장대>화장품정리함' '이노센트 제나프 오크화이트 서랍 화장대 거울포함 i100151 가구/인테리어>침실가구>화장대>일반화장대' '오투 피카 3단 콘솔 가구/인테리어>침실가구>화장대>콘솔'
6.0	'입체토끼 거실화 경산점 가구/인테리어>침실가구>침실세트' '노슨 1000 서랍장 세트 가구/인테리어>침실가구>침실세트' '스윗 체크 거실화 L 남성용 경산점 가구/인테리어>침실가구>침실세트'
7.0	'마켓비 나무 유리 협탁 가구/인테리어>침실가구>협탁' '보루네오 엘리브 델리 2단 서랍 협탁 골드레그 pe019 가구/인테리어>침실가구>협탁' '에보니아 몬테르 2단 협탁 가구/인테리어>침실가구>협탁'
3.0	'동서가구 로피엘 3단 와이드 하이그로시 서랍장 1500 DF924355 가구/인테리어>침실가구>서랍장' '에보니아 마르스on 원목 5단 서랍장 800 가구/인테리어>침실가구>서랍장' '이안퍼니 밀레 와이드 5단 서랍장 1000 EAN-PL011 가구/인테리어>침실가구>서랍장'
4.0	'리바트 아일 드레스룸 800 연결형 4단서랍옷장 가구/인테리어>침실가구>장롱/붙박이장>드레스룸' '한샘 피카 옷장 100cm 높이216cm 화이트 하이글로시 행거형 A타입 가구/인테리어>침실가구>장롱/붙박이장>옷장' '한샘 샘베딩 클로즈 옷장세트 120cm 높이216cm 행거형 가구/인테리어>침실가구>장롱/붙박이장>옷장'
0.0	'접이식 탁상거울 화장대 스탠드 미니 화장 메이크업 거울 가구/인테리어>침실가구>거울>탁상거울' '우진아트전통공예품 휴대용 고급 자개손거울 접이식 양면케이스 소형 미니 작은원형화장거울 한국전통공예품 외국인선물 기념품 가구/인테리어>침실가구>거울>손거울' '화장대 거울 800 L3114 가구/인테리어>침실가구>거울>벽걸이거울'
5.0	'이노센트 그룸 높은 9서랍 빅수납침대 SS 가구/인테리어>침실가구>침대>슈퍼싱글침대' '인테리어 베드벤치 NORDIC LOG 등나무 침실 침대 소파 꼬리 의자 단단한 홈 식당 가구/인테리어>침실가구>침대>베드벤치' '체나레 벤추라 원목 평상형 침대프레임 SS 가구/인테리어>침실가구>침대>침대프레임'
2.0	'티테이블세트 2인 북유럽 베란다 발코니 카페 테이블 의자 세트 가구/인테리어>침실가구>부부테이블' '2인 테이블세트 티테이블 원형 부부 카페 베란다 티 탁자 세트 철제 가구/인테리어>침실가구>부부테이블' '더리체 에르비스 탁자 MS-3417 가구/인테리어>침실가구>부부테이블'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fi13")
# Run inference
preds = model("시몬스 뷰티레스트 허브 매트리스 Q 가구/인테리어>침실가구>매트리스>퀸매트리스")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	8.2846	19

Label	Training Sample Count
0.0	70
1.0	70
2.0	69
3.0	70
4.0	70
5.0	70
6.0	70
7.0	70
8.0	70

Training Hyperparameters

• batch_size: (256, 256)
• num_epochs: (30, 30)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 50
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0081	1	0.4686	-
0.4065	50	0.4974	-
0.8130	100	0.5009	-
1.2195	150	0.4141	-
1.6260	200	0.1421	-
2.0325	250	0.0417	-
2.4390	300	0.0104	-
2.8455	350	0.0007	-
3.2520	400	0.0004	-
3.6585	450	0.0002	-
4.0650	500	0.0002	-
4.4715	550	0.0002	-
4.8780	600	0.0001	-
5.2846	650	0.0002	-
5.6911	700	0.0001	-
6.0976	750	0.0001	-
6.5041	800	0.0001	-
6.9106	850	0.0001	-
7.3171	900	0.0001	-
7.7236	950	0.0001	-
8.1301	1000	0.0001	-
8.5366	1050	0.0001	-
8.9431	1100	0.0	-
9.3496	1150	0.0	-
9.7561	1200	0.0	-
10.1626	1250	0.0	-
10.5691	1300	0.0	-
10.9756	1350	0.0	-
11.3821	1400	0.0	-
11.7886	1450	0.0	-
12.1951	1500	0.0	-
12.6016	1550	0.0	-
13.0081	1600	0.0	-
13.4146	1650	0.0	-
13.8211	1700	0.0	-
14.2276	1750	0.0	-
14.6341	1800	0.0	-
15.0407	1850	0.0	-
15.4472	1900	0.0	-
15.8537	1950	0.0	-
16.2602	2000	0.0	-
16.6667	2050	0.0	-
17.0732	2100	0.0	-
17.4797	2150	0.0	-
17.8862	2200	0.0	-
18.2927	2250	0.0	-
18.6992	2300	0.0	-
19.1057	2350	0.0	-
19.5122	2400	0.0	-
19.9187	2450	0.0	-
20.3252	2500	0.0	-
20.7317	2550	0.0	-
21.1382	2600	0.0	-
21.5447	2650	0.0	-
21.9512	2700	0.0	-
22.3577	2750	0.0	-
22.7642	2800	0.0	-
23.1707	2850	0.0	-
23.5772	2900	0.0	-
23.9837	2950	0.0	-
24.3902	3000	0.0	-
24.7967	3050	0.0	-
25.2033	3100	0.0	-
25.6098	3150	0.0	-
26.0163	3200	0.0	-
26.4228	3250	0.0	-
26.8293	3300	0.0	-
27.2358	3350	0.0	-
27.6423	3400	0.0	-
28.0488	3450	0.0	-
28.4553	3500	0.0	-
28.8618	3550	0.0	-
29.2683	3600	0.0	-
29.6748	3650	0.0	-

Framework Versions

• Python: 3.10.12
• SetFit: 1.1.0
• Sentence Transformers: 3.3.1
• Transformers: 4.44.2
• PyTorch: 2.2.0a0+81ea7a4
• Datasets: 3.2.0
• Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}