SetFit with mini1013/master_domain
This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.
The model has been trained using an efficient few-shot learning technique that involves:
- Fine-tuning a Sentence Transformer with contrastive learning.
- Training a classification head with features from the fine-tuned Sentence Transformer.
Model Details
Model Description
Model Sources
Model Labels
| Label |
Examples |
| 8 |
- 'MSI 프레스티지 16 AI Evo B1MG 노트북 키스킨 커버 무소음 키보드 올유어리브'
- '맥북 에어 15인치 키스킨 M2 실리콘 키보드덮개 (주)스코코'
- '삼성갤럭시북3 Go 키스킨 NT345XPA-KC04S 키스킨 키커버 14인치 실리스킨 문자인쇄 키스킨(블랙) 에이플'
|
| 0 |
- '칼디짓 엘레멘트독 CalDigit Element Dock 썬더볼트4 독 멀티허브 맥북프로 Element Dock (주)디엔에이치'
- '마하링크 2.5인치 SATA 멀티부스트 ML-MBS127 디메이드 (DMADE)'
- 'AA-AE2N12B usb 젠더 컴퓨터 인터넷 설치 랜 포트 에스아이'
|
| 3 |
- '잘만 ZM-NS1000 정품/노트북 받침대/쿨링패드 주식회사보성닷컴'
- '-잘만 ZM-NS1 (블랙)- 주식회사 케이에이치몰'
- '잘만 노트북 쿨링 받침대 ZM-NS2000 (주)아싸컴'
|
| 5 |
- 'W01 HP Omen 17-ANxxxTX 시리즈용 Crystal액정보호필름 더블유공일'
- '맥북 에어 15인치 필름 M2 무광 하판 외부 1매 무광 상판 1매 (주)스코코'
- '맥북에어 M3 2024 15인치 외부보호필름 3종세트 에이엠스토어'
|
| 1 |
- '이지엘 국산 가벼운 손잡이 노트북 파우치 케이스 13.3인치 For 13.3인치_스모키블랙 이지엘'
- '[에버키] Titan 타이탄 EKP120 18.4인치 비투비마스터'
- 'LG 그램 14인치 전용 가죽 파우치 (주) 티앤티정보 용산전자랜드지점'
|
| 6 |
- '[프라임디렉트] 아답터, 220V / 19V 3.42A [내경2.1~2.5mm/외경5.5mm] 전원 케이블 미포함 [비닐포장] (주)컴퓨존'
- '삼성 정품 노트북 NT-RV720 / 19V 3.16A AD-6019S AD-6019R 정품 전원 어댑터 고다'
- 'EFM ipTIME 어댑터 48V-0.5A (ipTIME 제품군 호환용) [ 아이피타임 ] (주)클럽라이더'
|
| 7 |
- 'HP 노트북배터리 14 15 TPN-Q207 Q208 HT03XL 호환용배터리 라온하람몰'
- '(AA-PB9NC6B)삼성 정품 노트북 배터리/NT-RF410 RF411 RF510 RF511 RF710 RF711 전용 엔티와이'
- '삼성 정품 배터리 AA-PB9NC6B/NT-R530 R540 전용 노트북 배터리/ NTY 엔티와이'
|
| 2 |
- '강원전자 넷메이트 노트북 도난방지 USB포트 와이어 잠금장치 키 타입 NM-SLL05M 보다넷'
- '노트북 도난방지 와이어 잠금장치 NM-SLL03 주식회사 루피하루'
- '엑토(ACTTO) NBL-01 노트북 도난방지 케이블/잠금장치 국진컴퓨터'
|
| 4 |
- 'ASUS 비보북 15 X1504ZA 노트북보안필름 프라이버시 사생활보호 거치형 거치형보안필름_1장 한성'
- '[1300K] HP 빅터스 16-SxxxxAN 거치식 양면 사생활보호필터F 엔에이치엔위투 주식회사'
- '삼성전자 갤럭시북4 NT750XGL-XC51S 노트북보안필름 프라이버시 사생활보호 부착형 부착형보안필름_1장 원일'
|
Evaluation
Metrics
Uses
Direct Use for Inference
First install the SetFit library:
pip install setfit
Then you can load this model and run inference.
from setfit import SetFitModel
model = SetFitModel.from_pretrained("mini1013/master_cate_el7")
preds = model("엑토(ACTTO) NBL-04 노트북 도난방지 케이블/(화이트) 국진컴퓨터")
Training Details
Training Set Metrics
| Training set |
Min |
Median |
Max |
| Word count |
4 |
10.3626 |
23 |
| Label |
Training Sample Count |
| 0 |
50 |
| 1 |
50 |
| 2 |
50 |
| 3 |
50 |
| 4 |
22 |
| 5 |
50 |
| 6 |
50 |
| 7 |
50 |
| 8 |
50 |
Training Hyperparameters
- batch_size: (512, 512)
- num_epochs: (20, 20)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 40
- body_learning_rate: (2e-05, 2e-05)
- head_learning_rate: 2e-05
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: False
Training Results
| Epoch |
Step |
Training Loss |
Validation Loss |
| 0.0152 |
1 |
0.4966 |
- |
| 0.7576 |
50 |
0.184 |
- |
| 1.5152 |
100 |
0.037 |
- |
| 2.2727 |
150 |
0.0256 |
- |
| 3.0303 |
200 |
0.0014 |
- |
| 3.7879 |
250 |
0.0002 |
- |
| 4.5455 |
300 |
0.0006 |
- |
| 5.3030 |
350 |
0.0001 |
- |
| 6.0606 |
400 |
0.0001 |
- |
| 6.8182 |
450 |
0.0001 |
- |
| 7.5758 |
500 |
0.0001 |
- |
| 8.3333 |
550 |
0.0001 |
- |
| 9.0909 |
600 |
0.0001 |
- |
| 9.8485 |
650 |
0.0001 |
- |
| 10.6061 |
700 |
0.0001 |
- |
| 11.3636 |
750 |
0.0001 |
- |
| 12.1212 |
800 |
0.0001 |
- |
| 12.8788 |
850 |
0.0001 |
- |
| 13.6364 |
900 |
0.0001 |
- |
| 14.3939 |
950 |
0.0001 |
- |
| 15.1515 |
1000 |
0.0001 |
- |
| 15.9091 |
1050 |
0.0001 |
- |
| 16.6667 |
1100 |
0.0001 |
- |
| 17.4242 |
1150 |
0.0 |
- |
| 18.1818 |
1200 |
0.0 |
- |
| 18.9394 |
1250 |
0.0 |
- |
| 19.6970 |
1300 |
0.0 |
- |
Framework Versions
- Python: 3.10.12
- SetFit: 1.1.0.dev0
- Sentence Transformers: 3.1.1
- Transformers: 4.46.1
- PyTorch: 2.4.0+cu121
- Datasets: 2.20.0
- Tokenizers: 0.20.0
Citation
BibTeX
@article{https://doi.org/10.48550/arxiv.2209.11055,
doi = {10.48550/ARXIV.2209.11055},
url = {https://arxiv.org/abs/2209.11055},
author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Efficient Few-Shot Learning Without Prompts},
publisher = {arXiv},
year = {2022},
copyright = {Creative Commons Attribution 4.0 International}
}