ShiWarai commited on
Commit
26ef4ba
·
verified ·
1 Parent(s): 0c4b96d

Docs: перевёл описание модели

Browse files
Files changed (1) hide show
  1. README.md +56 -60
README.md CHANGED
@@ -32,35 +32,35 @@ model-index:
32
  name: Accuracy
33
  ---
34
 
35
- # SetFit with google/embeddinggemma-300M
36
 
37
- This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [google/embeddinggemma-300M](https://huggingface.co/google/embeddinggemma-300M) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.
38
 
39
- The model has been trained using an efficient few-shot learning technique that involves:
40
 
41
- 1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
42
- 2. Training a classification head with features from the fine-tuned Sentence Transformer.
43
 
44
- ## Model Details
45
 
46
- ### Model Description
47
- - **Model Type:** SetFit
48
- - **Sentence Transformer body:** [google/embeddinggemma-300M](https://huggingface.co/google/embeddinggemma-300M)
49
- - **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
50
- - **Maximum Sequence Length:** 2048 tokens
51
- - **Number of Classes:** 13 classes
52
- <!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
53
- <!-- - **Language:** Unknown -->
54
- <!-- - **License:** Unknown -->
55
 
56
- ### Model Sources
57
 
58
- - **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
59
- - **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
60
- - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
61
 
62
- ### Model Labels
63
- | Label | Examples |
64
  |:-------------------|:------------------------------------------------------------------------------------------------------------------------------|
65
  | unknown | <ul><li>'чей робот'</li><li>'опять лежать'</li><li>'смотри панда'</li></ul> |
66
  | stand_at_attention | <ul><li>'пора выравняться'</li><li>'не хочешь равняться'</li><li>'выравнялся бы'</li></ul> |
@@ -76,66 +76,64 @@ The model has been trained using an efficient few-shot learning technique that i
76
  | run | <ul><li>'надо бежать'</li><li>'побеги'</li><li>'хотела бы чтобы панда бежала'</li></ul> |
77
  | help | <ul><li>'надо помочь'</li><li>'помог бы'</li><li>'команды'</li></ul> |
78
 
79
- ## Evaluation
80
 
81
- ### Metrics
82
- | Label | Accuracy |
83
  |:--------|:---------|
84
- | **all** | 0.8903 |
85
 
86
- ## Uses
87
 
88
- ### Direct Use for Inference
89
 
90
- First install the SetFit library:
91
 
92
  ```bash
93
  pip install setfit
94
  ```
95
 
96
- Then you can load this model and run inference.
97
 
98
  ```python
99
  from setfit import SetFitModel
100
 
101
- # Download from the 🤗 Hub
102
  model = SetFitModel.from_pretrained("tmp4qvbozcq/panda_commands")
103
- # Run inference
104
  preds = model("беги бы")
105
  ```
106
 
107
  <!--
108
- ### Downstream Use
109
 
110
- *List how someone could finetune this model on their own dataset.*
111
  -->
112
 
113
  <!--
114
- ### Out-of-Scope Use
115
 
116
- *List how the model may foreseeably be misused and address what users ought not to do with the model.*
117
  -->
118
-
119
  <!--
120
- ## Bias, Risks and Limitations
121
 
122
- *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
123
  -->
124
-
125
  <!--
126
- ### Recommendations
127
 
128
- *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
129
  -->
130
 
131
- ## Training Details
132
 
133
- ### Training Set Metrics
134
- | Training set | Min | Median | Max |
135
  |:-------------|:----|:-------|:----|
136
- | Word count | 1 | 2.3697 | 7 |
137
 
138
- | Label | Training Sample Count |
139
  |:-------------------|:----------------------|
140
  | bind | 44 |
141
  | dismiss | 128 |
@@ -151,7 +149,7 @@ preds = model("беги бы")
151
  | unbind | 30 |
152
  | unknown | 381 |
153
 
154
- ### Training Hyperparameters
155
  - batch_size: (128, 128)
156
  - num_epochs: (1, 1)
157
  - max_steps: -1
@@ -170,8 +168,8 @@ preds = model("беги бы")
170
  - eval_max_steps: -1
171
  - load_best_model_at_end: False
172
 
173
- ### Training Results
174
- | Epoch | Step | Training Loss | Validation Loss |
175
  |:------:|:----:|:-------------:|:---------------:|
176
  | 0.0025 | 1 | 0.2328 | - |
177
  | 0.1253 | 50 | 0.0955 | - |
@@ -182,7 +180,7 @@ preds = model("беги бы")
182
  | 0.7519 | 300 | 0.0031 | - |
183
  | 0.8772 | 350 | 0.0022 | - |
184
 
185
- ### Framework Versions
186
  - Python: 3.11.14
187
  - SetFit: 1.1.3
188
  - Sentence Transformers: 5.2.2
@@ -191,7 +189,7 @@ preds = model("беги бы")
191
  - Datasets: 4.5.0
192
  - Tokenizers: 0.22.2
193
 
194
- ## Citation
195
 
196
  ### BibTeX
197
  ```bibtex
@@ -208,19 +206,17 @@ preds = model("беги бы")
208
  ```
209
 
210
  <!--
211
- ## Glossary
212
 
213
- *Clearly define terms in order to be accessible across audiences.*
214
  -->
215
-
216
  <!--
217
- ## Model Card Authors
218
 
219
- *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
220
  -->
221
-
222
  <!--
223
- ## Model Card Contact
224
 
225
- *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
226
- -->
 
32
  name: Accuracy
33
  ---
34
 
35
+ # SetFit на базе google/embeddinggemma-300M
36
 
37
+ Это модель [SetFit](https://github.com/huggingface/setfit) для классификации текста. В качестве модели эмбеддингов Sentence Transformer используется [google/embeddinggemma-300M](https://huggingface.co/google/embeddinggemma-300M). Для классификации применяется [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html).
38
 
39
+ Модель обучена методом эффективного few-shot обучения, который включает:
40
 
41
+ 1. Дообучение [Sentence Transformer](https://www.sbert.net) с контрастным обучением.
42
+ 2. Обучение классификационной головы на признаках из дообученного Sentence Transformer.
43
 
44
+ ## Сведения о модели
45
 
46
+ ### Описание модели
47
+ - **Тип модели:** SetFit
48
+ - **Тело Sentence Transformer:** [google/embeddinggemma-300M](https://huggingface.co/google/embeddinggemma-300M)
49
+ - **Классификационная голова:** экземпляр [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html)
50
+ - **Максимальная длина последовательности:** 2048 токенов
51
+ - **Количество классов:** 13 классов
52
+ <!-- - **Обучающий датасет:** [Unknown](https://huggingface.co/datasets/unknown) -->
53
+ <!-- - **Язык:** Неизвестно -->
54
+ <!-- - **Лицензия:** Неизвестно -->
55
 
56
+ ### Источники модели
57
 
58
+ - **Репозиторий:** [SetFit на GitHub](https://github.com/huggingface/setfit)
59
+ - **Статья:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
60
+ - **Блог:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
61
 
62
+ ### Метки модели
63
+ | Метка | Примеры |
64
  |:-------------------|:------------------------------------------------------------------------------------------------------------------------------|
65
  | unknown | <ul><li>'чей робот'</li><li>'опять лежать'</li><li>'смотри панда'</li></ul> |
66
  | stand_at_attention | <ul><li>'пора выравняться'</li><li>'не хочешь равняться'</li><li>'выравнялся бы'</li></ul> |
 
76
  | run | <ul><li>'надо бежать'</li><li>'побеги'</li><li>'хотела бы чтобы панда бежала'</li></ul> |
77
  | help | <ul><li>'надо помочь'</li><li>'помог бы'</li><li>'команды'</li></ul> |
78
 
79
+ ## Оценка
80
 
81
+ ### Метрики
82
+ | Метка | Точность (Accuracy) |
83
  |:--------|:---------|
84
+ | **все** | 0.8903 |
85
 
86
+ ## Применение
87
 
88
+ ### Прямое использование для инференса
89
 
90
+ Сначала установите библиотеку SetFit:
91
 
92
  ```bash
93
  pip install setfit
94
  ```
95
 
96
+ Затем можно загрузить эту модель и выполнить инференс.
97
 
98
  ```python
99
  from setfit import SetFitModel
100
 
101
+ # Загрузка из 🤗 Hub
102
  model = SetFitModel.from_pretrained("tmp4qvbozcq/panda_commands")
103
+ # Инференс
104
  preds = model("беги бы")
105
  ```
106
 
107
  <!--
108
+ ### Дальнейшее использование
109
 
110
+ *Опишите, как можно дообучить эту модель на своём датасете.*
111
  -->
112
 
113
  <!--
114
+ ### Вне области применения
115
 
116
+ *Опишите возможные случаи неправильного использования и что пользователям не следует делать с моделью.*
117
  -->
 
118
  <!--
119
+ ## Смещения, риски и ограничения
120
 
121
+ *Какие известные или ожидаемые проблемы связаны с этой моделью? Можно указать известные случаи неудач или слабые стороны.*
122
  -->
 
123
  <!--
124
+ ### Рекомендации
125
 
126
+ *Какие рекомендации дать в связи с ожидаемыми проблемами? Например, фильтрация явного контента.*
127
  -->
128
 
129
+ ## Детали обучения
130
 
131
+ ### Метрики обучающей выборки
132
+ | Обучающая выборка | Мин | Медиана | Макс |
133
  |:-------------|:----|:-------|:----|
134
+ | Количество слов | 1 | 2.3697 | 7 |
135
 
136
+ | Метка | Количество обучающих примеров |
137
  |:-------------------|:----------------------|
138
  | bind | 44 |
139
  | dismiss | 128 |
 
149
  | unbind | 30 |
150
  | unknown | 381 |
151
 
152
+ ### Гиперпараметры обучения
153
  - batch_size: (128, 128)
154
  - num_epochs: (1, 1)
155
  - max_steps: -1
 
168
  - eval_max_steps: -1
169
  - load_best_model_at_end: False
170
 
171
+ ### Результаты обучения
172
+ | Эпоха | Шаг | Функция потерь (обучение) | Функция потерь (валидация) |
173
  |:------:|:----:|:-------------:|:---------------:|
174
  | 0.0025 | 1 | 0.2328 | - |
175
  | 0.1253 | 50 | 0.0955 | - |
 
180
  | 0.7519 | 300 | 0.0031 | - |
181
  | 0.8772 | 350 | 0.0022 | - |
182
 
183
+ ### Версии фреймворков
184
  - Python: 3.11.14
185
  - SetFit: 1.1.3
186
  - Sentence Transformers: 5.2.2
 
189
  - Datasets: 4.5.0
190
  - Tokenizers: 0.22.2
191
 
192
+ ## Цитирование
193
 
194
  ### BibTeX
195
  ```bibtex
 
206
  ```
207
 
208
  <!--
209
+ ## Глоссарий
210
 
211
+ *Дайте чёткие определения терминов для понятности разной аудитории.*
212
  -->
 
213
  <!--
214
+ ## Авторы карточки модели
215
 
216
+ *Укажите людей, создавших карточку модели.*
217
  -->
 
218
  <!--
219
+ ## Контакт
220
 
221
+ *Как связаться с авторами карточки модели.*
222
+ -->