mini1013/master_cate_ac15

SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: mini1013/master_domain
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 512 tokens
• Number of Classes: 20 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
19.0	'하복 여름용 시원한 베이직 네이비 정장 시선집중 봄 35_38 예이몰' '하복 여름용 시원한 베이직 네이비 정장 시선집중 봄 35_42 예이몰' '하복 여름용 시원한 베이직 네이비 정장 시선집중 봄 36B_40 예이몰'
18.0	'전통 십장생 금은사 금룡 오복 돌띠 남아 여아 돌 백일 여자 남자 애기 아기 한복 돌띠 5번 십장생돌띠(장색) 이제한복' '여아 한복 머리띠 족두리 호박 홍시 배씨 장신구 여자 아기 돌 어린이 전통 자수 머리 띠 핀 호박 핀머리띠 레드 청아' '엄마옷 삼베 리본 생활한복 두건 KD304133 중년여성 40 50 60대 마담 빅사이즈 할머니 미시 벽돌:FREE AKmall'
17.0	'[무료각인]자동차/캐리어 가죽키링/스마트키홀더/네임택/ 남자친구 여자친구 부모님 선물 T자형 (핑크)_골드(유광)_나눔손글씨펜체 더위드블루' '귀여운 곰인형 키링 열쇠고리 스웨터 모자 최여시' '[무료각인]자동차/캐리어 가죽키링/스마트키홀더/네임택/ 남자친구 여자친구 부모님 선물 T자형 (콰이즈블루)_골드(무광)_나눔바른고딕체 더위드블루'
2.0	'셔츠 넥 카라 레이어드 페이크 케이프 2type 둥근카라/화이트 도비77마켓' '셔츠카라 넥케이프 페이크카라 레이어드카라 넥커프스 1-카라-화이트 오니온스' '넥케이프 스카프 머플러 레이스 페이크 카라 작은 잎 화이트 모멘트1'
12.0	'닥스 양산 가드닝 PBU003Q 블랙(01) 주식회사 에스에스지닷컴' '고급 우양산 남자 초경량 양산 우산 자외선차단 암막 그린 하트 쿨로미-네이비-커뮤니케이션 한정판 서민스토어' '암막 하트펀칭코팅 양산 IPLQP40042 스카이 '
5.0	'캐시미어 머플러 FKU035 블루 롯데백화점1관' '여성 겨울 니트 짜임 목도리 머플러 그레이 엠에스씨' '엘르/칼린 롱 쁘띠 니트 머플러 SE04MP3000 택1 선택07 바네사끼움SE34MX304 브라운 AK플라자1관'
16.0	'부토니에 결혼식 무도회 꽃 장미 브로치 핀 진주 나비 신부 신랑 새틴 리본 액세서리 13 포시즌스트레이드' '부토니에 결혼식용 인공 수국 꽃 실크 머리 50 개 Off White Leaves White Stems_50 PCS 포시즌스트레이드' '코르사주 맞춤형 터키 깃털 머리장식 클립 닭 꼬리 코스튬 모자 DS230441 DS230442 포시즌스트레이드'
11.0	'BYC 본사 종아리압박밴드 SWG1300 BK(블랙)/F 홈앤쇼핑몰' '5묶음 기모 고카바 넌슬립 (바닥실리콘) 아소트 코썸' '팬티스타킹/덧신/양말/기모/속바지/판타롱/학생 2_9부 블랙 2매 규리몰'
9.0	'[1만원인하]에디티드 브리즈 썸머 원피스+니트숄 076/티파니블루/88 AKmall' '어깨숄 어깨에 페이크니트 니트 두르는 가디건 여성 캐주얼 여성스런 숄망토 X. 캐러멜 구루미상회' '헬렌카민스키[공식] 헬렌카민스키 메르시에 판초 코트 LUWRCT00020 멜란지그레이_OS 주식회사 에스에스지닷컴'
1.0	'내셔널지오그래픽 악세사리 악세서리 메쉬쿨토시 1163327 BLACK_M(002) koreamk2' 'LAP골지 베이직 워머 AP7AYA01 BK(블랙)_FF 주식회사 에스에스지닷컴' '가을 겨울 페이크 후드 넥워머 니트 레이어드 바라클라바 모자 방한용품 베이지 다온마켓'
8.0	'여성 에티켓 손수건 레이스 무릎 덮개 대형 면 꽃무늬 에티켓03 서울타임즈' '일본 수입 스누피 반다나 손수건 6종 스카우트아이보리 키티야' '(지나산업)등산손수건/반다나/페이즐리/opp개별포장 블루 infnet16'
15.0	'카메라렌즈 커프스 남성 패션 소품 실버 행복세일웃음' '블루 넥타이핀 커프스 버튼 831 와이셔츠 타이바 링크 소매 젠틀 안트 넥타이핀 엠에프샵' '[6월남자] 카메라 렌즈 커프스 버튼 남자 정장 소품 골드 베라콘'
0.0	'미우미우 벨벳 헤어클립 헤어핀 MIUMIU Velvet hair clip 35.5 어리버리샵' '허리늘리기 밴딩탭 슬랙스탭 허리조절 셀프수선고무줄 청바지탭 3P 호메르' '수도동파방지 덮개 한파방지커버 수도계량기 보온재 비(B)'
6.0	'휴대용 접이식 캐릭터 부채 미니사이즈 KK99 6.딸기토끼 안미현' '어린이부채만들기 04. ZIG캘리그라피펜 MS3400_42. MS-3400 / 070_PURE ORANGE 포장지세상' '발롱 VF1 한국 무용 워십 너슬 부채춤 부채 팬베일 VF111 WR 우_L(35cm) 발롱'
10.0	'EP 모드 남성용 겨울 스카프 캐시미어 느낌 매우 부드럽고 따뜻함 다이아몬드 그리드 네이비 윈나인' '개/대 남성 여성 가을 겨울 양면 컬러 매칭 스카프 모자 장갑 M89E DG 글로벌 엠에스 컴퍼니' '하태하태 기념일선물 아마존 크로스 보더 남성 캐주얼 믹스매치하기좋은 여자들이좋아하는선물 Navy blue 리마110'
4.0	'에쎄 케이스 파우치 슬림형 20개비 빈티지 갑 메탈 보관함 남자친구선물 자동 A 다온마켓' '소품보관 악세사리 가죽 전자 케이스 수납 네이비 갑자네' '에스티듀퐁 뉴 라인2 전용 리필 가스 CNA000435 레드 주식회사 스타필드하남'
13.0	'강철 특수 부대 패치 와펜 707 UDT UDU SSU SART HID SEAL 해병대 L.SOU 밀리터리코리아' '[NFL] F214ATO040 부클 복조리 크로스백 블랙_Free 롯데쇼핑(주) 프리미엄 아울렛 김해점' '와팬 와펜 열접접착 자수 스티커 브러치 패치 마크 견장 51번부터 100번까지_55번 TNT몰'
3.0	'BTIE_102 그레이체크 니트 보타이(그레이 품절) 차콜 건강드림' '다이아몬드컷팅된넥타이핀VMRTP1006 화이트 ' '푸르티민트향 치약 키즈세이프 60g 충치케어 키즈 4입 치아관리 잇몸냄새 입냄새제거 주식회사제이케이이노베이션'
14.0	'코지트리 반대로 접고 펴는 거꾸로 우산 거꾸로우산--스카이블루 투게이트' '튼튼한 자동 3단우산 거꾸로 우산 반전 네이비 블루 패킹팩토리' '[무료 각인서비스] 크로반 대형 자동장우산 KR3 파스텔브라운_폰트02 주식회사 크로반'
7.0	'브로치 옷핀브로치 진주브로치 브롯지 2_장미 부토니에(진주)-자주 조은상점' '릭 오웬스 남성 블랙 클래식 플라이트 가죽 재킷 가죽 자켓 232232M175011 IT 44 주식회사 스마일벤처스' '23FW 카사데이 드레스 슈즈 1F920W100M C14449000 42 주식회사 구하다'

Evaluation

Metrics

Label	Metric
all	0.8557

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_ac15")
# Run inference
preds = model("고급 골지압박 타이즈 스타킹 유발 면 겨울 베이지 버징가마켓")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	10.322	25

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50
9.0	50
10.0	50
11.0	50
12.0	50
13.0	50
14.0	50
15.0	50
16.0	50
17.0	50
18.0	50
19.0	50

Training Hyperparameters

• batch_size: (512, 512)
• num_epochs: (20, 20)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 40
• body_learning_rate: (2e-05, 2e-05)
• head_learning_rate: 2e-05
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0064	1	0.3967	-
0.3185	50	0.3383	-
0.6369	100	0.2365	-
0.9554	150	0.1145	-
1.2739	200	0.0563	-
1.5924	250	0.0414	-
1.9108	300	0.0377	-
2.2293	350	0.0159	-
2.5478	400	0.0297	-
2.8662	450	0.0258	-
3.1847	500	0.0194	-
3.5032	550	0.0113	-
3.8217	600	0.0108	-
4.1401	650	0.0059	-
4.4586	700	0.0009	-
4.7771	750	0.0059	-
5.0955	800	0.0044	-
5.4140	850	0.004	-
5.7325	900	0.0023	-
6.0510	950	0.0004	-
6.3694	1000	0.0024	-
6.6879	1050	0.0007	-
7.0064	1100	0.0004	-
7.3248	1150	0.0002	-
7.6433	1200	0.0002	-
7.9618	1250	0.0003	-
8.2803	1300	0.0002	-
8.5987	1350	0.0001	-
8.9172	1400	0.0001	-
9.2357	1450	0.0001	-
9.5541	1500	0.0001	-
9.8726	1550	0.0001	-
10.1911	1600	0.0001	-
10.5096	1650	0.0001	-
10.8280	1700	0.0001	-
11.1465	1750	0.0001	-
11.4650	1800	0.0001	-
11.7834	1850	0.0001	-
12.1019	1900	0.0001	-
12.4204	1950	0.0001	-
12.7389	2000	0.0001	-
13.0573	2050	0.0001	-
13.3758	2100	0.0001	-
13.6943	2150	0.0001	-
14.0127	2200	0.0001	-
14.3312	2250	0.0001	-
14.6497	2300	0.0001	-
14.9682	2350	0.0001	-
15.2866	2400	0.0001	-
15.6051	2450	0.0001	-
15.9236	2500	0.0001	-
16.2420	2550	0.0001	-
16.5605	2600	0.0001	-
16.8790	2650	0.0001	-
17.1975	2700	0.0001	-
17.5159	2750	0.0001	-
17.8344	2800	0.0001	-
18.1529	2850	0.0001	-
18.4713	2900	0.0001	-
18.7898	2950	0.0001	-
19.1083	3000	0.0001	-
19.4268	3050	0.0001	-
19.7452	3100	0.0001	-

Framework Versions

• Python: 3.10.12
• SetFit: 1.1.0.dev0
• Sentence Transformers: 3.1.1
• Transformers: 4.46.1
• PyTorch: 2.4.0+cu121
• Datasets: 2.20.0
• Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}