mini1013/master_cate_sl28

SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: mini1013/master_domain
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 512 tokens
• Number of Classes: 14 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
7.0	'해먹 감성 침대 그네 캠핑 가정용 야외 세트 그물 휴대용 헤먹 차박 비박 스포츠/레저>캠핑>캠핑가구>해먹' '그물침대 레인보우 캠핑 감성 휴대용 대형 해먹 스포츠/레저>캠핑>캠핑가구>해먹' '야전침대 스웨이드 토퍼 간이 침대커버 매트 스포츠/레저>캠핑>캠핑가구>야전침대'
1.0	'식스비 감성 LED C타입 충전식 조명 캠핑랜턴 스포츠/레저>캠핑>랜턴>실내등' '원터치 캠핑용 휴대고리 LED 손전등 등산 랜턴 서치라이트 스포츠/레저>캠핑>랜턴>손전등' '초슬림 디자인 휴대용후레쉬 9 캠핑후레쉬 소형후레쉬 등산후레쉬 초소형후레쉬 스포츠/레저>캠핑>랜턴>손전등'
6.0	'제로그램 모나크250 침낭 스포츠/레저>캠핑>침낭' '웜피스 바이킹 900-195CM 침낭 스포츠/레저>캠핑>침낭' '다나산업 다나 골드익스페디션-M 침낭 스포츠/레저>캠핑>침낭'
12.0	'기프템 캠핑 경량 알류미늄 팩 망치 파운딩 해머 백패킹 힙오렌지 컬러 캠핑장의 힙스터 스포츠/레저>캠핑>텐트/타프용품>기타텐트/타프용품' '아캄파 일자3구스토퍼 4P 스포츠/레저>캠핑>텐트/타프용품>기타텐트/타프용품' '코베아 고스트 플러스 전용 PVC 그라운드시트 방수포 스포츠/레저>캠핑>텐트/타프용품>방수포/그라운드시트'
5.0	'제리캔 스틸 철제 캠핑통 기름통 휘발유 스포츠/레저>캠핑>취사용품>기타취사용품' '워터백 폴딩 버킷12L 스포츠/레저>캠핑>취사용품>설거지용품' '네이처하이크 캠핑 접이식 설거지통 20L 멀티 방수 다용도 원형 바스켓 스포츠/레저>캠핑>취사용품>설거지용품'
0.0	'야외 캠핑 가스 스토브 휴대용 프로판 히터 전자 점화 장치 핸드 워머 화구 텐트 스포츠/레저>캠핑>기타캠핑용품' '캠핑 팩백 팩파우치 휴대용 도구가방 툴백 스포츠/레저>캠핑>기타캠핑용품' '등산 캠핑 비상용 파라코드 생존팔찌 조난생존팔찌 스포츠/레저>캠핑>기타캠핑용품'
10.0	'캠핑클럽 사이드월 타프 420 스포츠/레저>캠핑>타프' '쾌청 립스탑 렉타 타프 2 x 2m 스포츠/레저>캠핑>타프' '네이처하이크 NH 4M 렉타 타프 스포츠/레저>캠핑>타프'
8.0	'호토 에어 매트리스 QWOGJ003 스포츠/레저>캠핑>캠핑매트' '토토비즈 힐링 에스닉 캠핑매트 TM-H017 스포츠/레저>캠핑>캠핑매트' '어반카모 팽창식 침대 캠핑매트 40cm 싱글 스포츠/레저>캠핑>캠핑매트'
11.0	'하이브로우 블랙테일 3 텐트 스포츠/레저>캠핑>텐트>2-3인용' '코베아 몬스터 터널형 텐트 KECO9TO 4인용 스포츠/레저>캠핑>텐트>3-4인용' '노스피크 스타쉽 텐트 4인용 스포츠/레저>캠핑>텐트>3-4인용'
13.0	'다이팩토리 파워뱅크 DF 230A 스포츠/레저>캠핑>파워뱅크' '에코플로우 리버 맥스 플러스 파워뱅크 60Ah 스포츠/레저>캠핑>파워뱅크' '잭커리 휴대용 파워뱅크 L 사이즈 수납가방 ro ro 전용 1500P 2000P 스포츠/레저>캠핑>파워뱅크'
2.0	'카즈미 소프트 쿨러 스카디 25L 보냉백 보냉가방 아이스박스 스포츠/레저>캠핑>아이스박스' '피크닉가방 쿨러백 캠핑 보온보냉 대용량 25L 보냉백 스포츠/레저>캠핑>아이스박스' '세븐플로어 POLARIS 폴라리스 C1 빙점하팩 아이스팩 영하 캠핑 휴대용 쿨러 얼음 냉동 스포츠/레저>캠핑>아이스박스'
9.0	'헤비 듀티 대용량 접이식 왜건 쇼핑 비치 가든 풀 트롤리 야외 휴대용 유틸리티 카트 스포츠/레저>캠핑>캠핑왜건' '캠파오 캠핑웨건 접이식 카트 뒷문개방 왜건 스포츠/레저>캠핑>캠핑왜건' '캠핑용 수레 경량 접이식 폴딩 웨건카트 스포츠/레저>캠핑>캠핑왜건'
4.0	'프리폼 캐노피 천막 2x2m 스포츠/레저>캠핑>천막' '런웨이브 천막캐노피용 일반 바람막이 4면세트 3mX2m 스포츠/레저>캠핑>천막' '리브포어스 접이식 캐노피 천막 벨크로 타입 투명벽면 풀세트 2m x 2m 스포츠/레저>캠핑>천막'
3.0	'캠피어 워터저그 10L 스포츠/레저>캠핑>워터저그' '코베아 하드 워터탱크 15L 스포츠/레저>캠핑>워터저그' '스탠리 워터저그 수도꼭지 + 스텐인리스판 스포츠/레저>캠핑>워터저그'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_sl28")
# Run inference
preds = model("애몰라이트 후레쉬 AM1 표준슬립 손전등 스포츠/레저>캠핑>랜턴>손전등")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	7.8108	22

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	25
4.0	30
5.0	70
6.0	70
7.0	70
8.0	70
9.0	70
10.0	70
11.0	70
12.0	70
13.0	26

Training Hyperparameters

• batch_size: (256, 256)
• num_epochs: (30, 30)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 50
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0060	1	0.5164	-
0.2994	50	0.4984	-
0.5988	100	0.4882	-
0.8982	150	0.1544	-
1.1976	200	0.0264	-
1.4970	250	0.0089	-
1.7964	300	0.0027	-
2.0958	350	0.0003	-
2.3952	400	0.0002	-
2.6946	450	0.0001	-
2.9940	500	0.0001	-
3.2934	550	0.0001	-
3.5928	600	0.0001	-
3.8922	650	0.0001	-
4.1916	700	0.0001	-
4.4910	750	0.0	-
4.7904	800	0.0	-
5.0898	850	0.0	-
5.3892	900	0.0	-
5.6886	950	0.0	-
5.9880	1000	0.0	-
6.2874	1050	0.0	-
6.5868	1100	0.0	-
6.8862	1150	0.0	-
7.1856	1200	0.0	-
7.4850	1250	0.0	-
7.7844	1300	0.0	-
8.0838	1350	0.0	-
8.3832	1400	0.0	-
8.6826	1450	0.0	-
8.9820	1500	0.0	-
9.2814	1550	0.0	-
9.5808	1600	0.0	-
9.8802	1650	0.0	-
10.1796	1700	0.0	-
10.4790	1750	0.0	-
10.7784	1800	0.0	-
11.0778	1850	0.0	-
11.3772	1900	0.0	-
11.6766	1950	0.0	-
11.9760	2000	0.0	-
12.2754	2050	0.0	-
12.5749	2100	0.0	-
12.8743	2150	0.0	-
13.1737	2200	0.0	-
13.4731	2250	0.0	-
13.7725	2300	0.0	-
14.0719	2350	0.0	-
14.3713	2400	0.0	-
14.6707	2450	0.0	-
14.9701	2500	0.0	-
15.2695	2550	0.0	-
15.5689	2600	0.0	-
15.8683	2650	0.0	-
16.1677	2700	0.0	-
16.4671	2750	0.0	-
16.7665	2800	0.0	-
17.0659	2850	0.0	-
17.3653	2900	0.0	-
17.6647	2950	0.0	-
17.9641	3000	0.0	-
18.2635	3050	0.0	-
18.5629	3100	0.0	-
18.8623	3150	0.0	-
19.1617	3200	0.0	-
19.4611	3250	0.0	-
19.7605	3300	0.0	-
20.0599	3350	0.0	-
20.3593	3400	0.0	-
20.6587	3450	0.0	-
20.9581	3500	0.0	-
21.2575	3550	0.0	-
21.5569	3600	0.0	-
21.8563	3650	0.0	-
22.1557	3700	0.0	-
22.4551	3750	0.0	-
22.7545	3800	0.0	-
23.0539	3850	0.0	-
23.3533	3900	0.0	-
23.6527	3950	0.0	-
23.9521	4000	0.0	-
24.2515	4050	0.0	-
24.5509	4100	0.0	-
24.8503	4150	0.0	-
25.1497	4200	0.0	-
25.4491	4250	0.0	-
25.7485	4300	0.0	-
26.0479	4350	0.0	-
26.3473	4400	0.0	-
26.6467	4450	0.0	-
26.9461	4500	0.0	-
27.2455	4550	0.0	-
27.5449	4600	0.0	-
27.8443	4650	0.0	-
28.1437	4700	0.0	-
28.4431	4750	0.0	-
28.7425	4800	0.0	-
29.0419	4850	0.0	-
29.3413	4900	0.0	-
29.6407	4950	0.0	-
29.9401	5000	0.0	-

Framework Versions

• Python: 3.10.12
• SetFit: 1.1.0
• Sentence Transformers: 3.3.1
• Transformers: 4.44.2
• PyTorch: 2.2.0a0+81ea7a4
• Datasets: 3.2.0
• Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}