SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 21 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
15.0	'크롭 니트 가디건 페이크 투피스 셋업 셔츠 블랙_S 끌레클로젯' '케이블 니트 반바지 세트업 빅사이즈 브라운_XL 지희마켓' '빈티지 반팔 반바지 세트 URD-021 그레이_L 영일'
5.0	'플리츠 랩형 스커트 베이지 (113Y27KY1A) 베이지_M 신세계몰' '잇미샤 플레어 샤 스커트 ITN5YSK160 블랙_55 (주)모다이노칩' '게스 여성 데님 롱 기장 스커트 ON3D0512 2종 0512 BLK_26 엔터식스'
7.0	'깔깔이 상의 브이넥형 방한복 방한내피 겨울 작업복 패딩점퍼 깔깔이 상의 브이넥형 방한복 방한내피 겨울 작 브리드킴엠' '굿유니폼 어깨 골절 탈골 수술 탄탄한 검진복 상의 스냅 오픈형 5부 검진가운 정형외과 환자복 치료복 PI73 블루그레이_대 굿 유니폼' '남여공용 찜질 마사지복 세트 스파복 물리치료 사우나복 대량주문 한의원 상의_121_1803황토_L(95) 달토끼'
10.0	'23FW 안다마네 바디수트 티셔츠 T140714A TJP062BLACK XS 주식회사 구하다' '마리오데님점프수트 연청_M 디에프컴퍼니(dfcompany)' '클랜드 우븐 원피스 서스펜더 S24SWDOP11 감성 캠핑 차콜(CC)_90 (ONE SIZE) '
3.0	'국내발송 toffee 토피 사이드 지퍼 나일론 밴딩 팬츠 CHARCOAL SIDE ZIPPER NYLON BANDING PANTS T3S-SZNBPT425 L 대박이' '와이드 밴딩 도날슨 남녀공용 왕스판 220581 팬츠 블랙_L-XL 위드위너(f)' 'GOLDEN BEAR Nylon stretch Cargo Jogger Pants (for Women)_G5PAW23541BEX 베이지_WS 오름직구'
0.0	'플러스샵 고비GOBI 캐시미어 100 홀가먼트 5부 풀오버 164888 그레이_88 주식회사 미르에셋' 'SPAO 스파오 [COOL] 썸머 케이블 반팔니트_SPKWE25G06 431761 [25]PINK_L[095] 슈슈312' '퍼 4168 니트 빅 사이즈 살구색/L 팜파스몰'
16.0	'[23FW][Essential]울 캐시미어 후드 더플 코트 네이비 BF3X30E03R 남색_S (주)씨제이이엔엠' '[런칭가 590000원]J by 유럽산 리버시블 무스탕 코트 [00010] 틸그린 S 현대H몰' 'KODAK 브라우니 롱 플리스 더플자켓 IVORY rva-573824f L 라비아컴퍼니'
4.0	'스마일 포켓 프린트 데님 긴팔 셔츠 남녀공용 연청 탑 nigo94357 01=A_1 하나몰' '[지오다노] 343902 여 기본 옥스포드 셔츠 01핑크_M (주)지오다노' '지오다노 NEW 한소희 포플린 셔츠 05343901 01다크그린_L (주)엔터식스패션쇼핑몰'
20.0	'겨울용 여성 면 누비 잎새 나비 털 저고리(단일상품) 개량 생활한복 절복 법복 단체복 회색 저고리_소(여 66) 만덕' '마미소 예쁜꽃자수솜바지 몸빼 누빔 생활한복 따수미 엄마옷 할머니옷 그린 마미소' '청아 챠콜 허리치마 챠콜_FREE 생활한복'
11.0	'헬리꽁땡 퀼팅패딩상하세트 블랙/88 신세계라이브쇼핑-몰' '키작녀 정장 블랙 세트 ( 싱글 수트 셋업, 와이드 슬림일자 키작녀슬랙스 ) S_슬림 일자 핏_M 언클로젯' '세미 캐주얼 정장세트 영문 레터링 자켓 팬츠 셋업 수트 블랙_S(55)_M(66) 스타일라떼 주식회사'
17.0	'스포츠 반바지 속바지 헬스 요가 트레이닝복 FT018 2022년 도매 오렌지/S 썬샤인웍스' '[지오다노] 413961 한소희 브러시드 테리 스트레이트 팬츠_3color 09블랙_XS ' '스포츠 반바지 속바지 헬스 요가 트레이닝복 필라테스 핑크 / S 에스에이치에너지'
18.0	'박시 LBR 반팔 티셔츠 AS DD1238-010 095 ' '[갤러리아] [23 F／W] 와펜 포인트 래글런 맨투맨(7153340007)(한화갤러리아㈜ 진주점) 검정_55 한화갤러리아(주)' '기본반팔티 코튼순면 프리미엄 남여공용 무지반팔티 블랙_L_♪본상품선택♬ 스즈브느'
2.0	'여성 여자 베이직 레인코트 우의 비옷 골프 등산 낚시 캠핑 카키_L 이에이치 멀티샵 (EH multi shop)' 'Gn542 레인코트 남성 의류 여성 우비 커플 고급우비 성인 남자 비옷 패션 우의 세련된 등산 판초우의 블랙 제이미디어' '우비 오버핏 ONS-RC800 EVA 스타일리쉬 커플레인코트_업체 ONS-RC800-L_블랙 스플렌카'
19.0	'ROTATE 블루 시퀸 렙 드레스 원피스 RT2208 여성 32 주식회사 페칭' '이브닝 셀프웨딩 웨딩촬영 쉬폰 롱드레스 피로연드레스 M_이미지 컬러 식스투' '웨딩원피스 드레스 2023 SS 화이트 쉬폰 결혼식 이브닝 셀프웨딩 파티 137257 Custom colors_24W_CN 아스가르드3'
14.0	'사이즈 퍼 빅 니트 6221 베이지/빅사이즈XL 옐로우몰' '에잇세컨즈 EDITION8 셔링 브이넥 카디건 블랙 (323Y5AHY15) 검정색_S ' '[23FW][Essential]울 캐시미어 케이블 라운드넥 카디건 라이트 베이지 BF395AE01A 베이지_S (주)씨제이이엔엠'
12.0	'2023겨울경량패딩조끼 브이넥/겨울조끼/베스트/경량조끼/바람막이/남녀공용/겨울용품/아우터 경량패딩조끼 브이넥 블랙XXL[NF148] 켈리스코리아' '기하학 패턴 니트 베스트 T228MVT232W 오트밀_M 마리오쇼핑 주식회사' '[정품인증] 275486 여성) 구스 V넥 경량 베스트_PHB5VP2011 BK_100 에스제이4'
13.0	'트레이닝팬츠 기모 밴딩 211057 남녀공용 바 일자 바지 세미 베이지FREE_단일상품 김민주' '여름 시원한 남녀공용 데일리 3부 비치웨어 반바지 네이비_L free 나인원' '빈폴레이디스 소프트 스트레이트핏 데님 팬츠 다크네이비 BF3921U00R 남색_025 (주)씨제이이엔엠'
6.0	'스트라이프 반팔 셔츠 롱원피스 사진색_F 썸메모리' '(나인(Atelier Nain))(광주신세계)캐주얼 브이넥 미니 데님 원피스(OP-6071) 블루_M 신세계백화점' '[로맨틱블룸](단독 끝장가)신영와코루 로맨틱블룸 플리츠 컵원피스 (3종) M(66) SK스토아'
9.0	'엔에프엘 F204MDW263 라쿤퍼 숏 다운 3종 택1 BABYPINK_095 유니샵' '[르샵][하프클럽/르샵]르샵 사선 바람막이 후드 집업 점퍼 TN5JP110 1.화이트 / Free 롯데아이몰' '[갤러리아] [보브][24여름]스트링 헴 이지 집업 점퍼(7194220101) 블랙_M NS홈쇼핑_NS몰'
1.0	'하프클럽/컬럼비아 언더웨어 컬럼비아 여성 레깅스 2차 랜덤1종 LUCKY PACK 1_색상/사이즈 하프클럽' '여성 포켓 밍크보아 밴딩 레깅스 SPY673 네이비블루_S CJONSTYLE' '여성) BALANCE 조거 레깅스 (루즈핏) MBD5PT2230/밸런스(진유니) BK(블랙)_M 롯데쇼핑(주)'
8.0	'12+ 올리비아로렌 2024 신년 03_B_VOPEAUWA331_NAVY_090 올리비아로렌 공식' '럭키슈에뜨[온라인단독] LQJAW24540 반소매 노카라 더블자켓 (럭키... 블랙(BKX)_36 신세계백화점' 'SECONDMONO 크롭 필드 후드 바람막이 자켓 3 블랙 COOSJP029BLACK CO M 점프업'

Evaluation

Metrics

Label	Metric
all	0.7890

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_ap3")
# Run inference
preds = model("(SOUP)(신세계마산점)숲 라이더형 무스탕 (SZBMU90) 블랙_66 신세계백화점")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.6448	23

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50
9.0	50
10.0	50
11.0	50
12.0	50
13.0	50
14.0	50
15.0	50
16.0	50
17.0	50
18.0	50
19.0	50
20.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0061	1	0.3795	-
0.3030	50	0.296	-
0.6061	100	0.2248	-
0.9091	150	0.1494	-
1.2121	200	0.0913	-
1.5152	250	0.061	-
1.8182	300	0.0322	-
2.1212	350	0.0243	-
2.4242	400	0.0152	-
2.7273	450	0.0134	-
3.0303	500	0.0056	-
3.3333	550	0.0026	-
3.6364	600	0.0016	-
3.9394	650	0.0066	-
4.2424	700	0.0044	-
4.5455	750	0.0025	-
4.8485	800	0.0023	-
5.1515	850	0.0023	-
5.4545	900	0.0008	-
5.7576	950	0.0023	-
6.0606	1000	0.0005	-
6.3636	1050	0.0015	-
6.6667	1100	0.0006	-
6.9697	1150	0.0003	-
7.2727	1200	0.0003	-
7.5758	1250	0.0003	-
7.8788	1300	0.0002	-
8.1818	1350	0.0004	-
8.4848	1400	0.0002	-
8.7879	1450	0.0002	-
9.0909	1500	0.0002	-
9.3939	1550	0.0002	-
9.6970	1600	0.0001	-
10.0	1650	0.0001	-
10.3030	1700	0.0002	-
10.6061	1750	0.0001	-
10.9091	1800	0.0001	-
11.2121	1850	0.0002	-
11.5152	1900	0.0002	-
11.8182	1950	0.0002	-
12.1212	2000	0.0001	-
12.4242	2050	0.0001	-
12.7273	2100	0.0001	-
13.0303	2150	0.0001	-
13.3333	2200	0.0001	-
13.6364	2250	0.0001	-
13.9394	2300	0.0001	-
14.2424	2350	0.0001	-
14.5455	2400	0.0001	-
14.8485	2450	0.0001	-
15.1515	2500	0.0001	-
15.4545	2550	0.0001	-
15.7576	2600	0.0001	-
16.0606	2650	0.0001	-
16.3636	2700	0.0001	-
16.6667	2750	0.0001	-
16.9697	2800	0.0001	-
17.2727	2850	0.0001	-
17.5758	2900	0.0001	-
17.8788	2950	0.0001	-
18.1818	3000	0.0001	-
18.4848	3050	0.0001	-
18.7879	3100	0.0001	-
19.0909	3150	0.0001	-
19.3939	3200	0.0001	-
19.6970	3250	0.0001	-
20.0	3300	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

Downloads last month: 1

Safetensors

Model size

0.1B params

Tensor type

F32

Model tree for mini1013/master_cate_ap3

Base model

klue/roberta-base

Finetuned

mini1013/master_domain

Finetuned

(214)

this model

Paper for mini1013/master_cate_ap3

Efficient Few-Shot Learning Without Prompts

Paper • 2209.11055 • Published Sep 22, 2022 • 7

Evaluation results

Metric on Unknown
test set self-reported

0.789