Update README.md
Browse files
README.md
CHANGED
|
@@ -51,14 +51,14 @@ def pool(hidden_state, mask, pooling_method="cls"):
|
|
| 51 |
|
| 52 |
inputs = [
|
| 53 |
#
|
| 54 |
-
"paraphrase:
|
| 55 |
-
"categorize_entailment:
|
| 56 |
"search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
|
| 57 |
#
|
| 58 |
-
"paraphrase:
|
| 59 |
-
"categorize_entailment:
|
| 60 |
-
"search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
|
| 61 |
-
]
|
| 62 |
|
| 63 |
tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRIDA")
|
| 64 |
model = T5EncoderModel.from_pretrained("ai-forever/FRIDA")
|
|
@@ -87,14 +87,14 @@ from sentence_transformers import SentenceTransformer
|
|
| 87 |
|
| 88 |
inputs = [
|
| 89 |
#
|
| 90 |
-
"paraphrase:
|
| 91 |
-
"categorize_entailment:
|
| 92 |
"search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
|
| 93 |
#
|
| 94 |
-
"paraphrase:
|
| 95 |
-
"categorize_entailment:
|
| 96 |
-
"search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
|
| 97 |
-
]
|
| 98 |
|
| 99 |
# loads model with CLS pooling
|
| 100 |
model = SentenceTransformer("ai-forever/FRIDA")
|
|
@@ -115,11 +115,11 @@ from sentence_transformers import SentenceTransformer
|
|
| 115 |
# loads model with CLS pooling
|
| 116 |
model = SentenceTransformer("ai-forever/FRIDA")
|
| 117 |
|
| 118 |
-
|
| 119 |
-
print(
|
| 120 |
|
| 121 |
-
|
| 122 |
-
print(
|
| 123 |
|
| 124 |
query_embedding = model.encode("Сколько программистов нужно, чтобы вкрутить лампочку?", prompt_name="search_query")
|
| 125 |
document_embedding = model.encode("Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.", prompt_name="search_document")
|
|
@@ -129,7 +129,7 @@ print(query_embedding @ document_embedding.T) # 0.7761018872261047
|
|
| 129 |
+ # Authors
|
| 130 |
+ [SaluteDevices](https://sberdevices.ru/) AI for B2C RnD Team.
|
| 131 |
+ Artem Snegirev: [HF profile](https://huggingface.co/artemsnegirev);
|
| 132 |
-
+
|
| 133 |
+ Aleksandr Abramov: [HF profile](https://huggingface.co/Andrilko), [Github](https://github.com/Ab1992ao), [Kaggle Competitions Master](https://www.kaggle.com/andrilko)
|
| 134 |
|
| 135 |
|
|
|
|
| 51 |
|
| 52 |
inputs = [
|
| 53 |
#
|
| 54 |
+
"paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
|
| 55 |
+
"categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
|
| 56 |
"search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
|
| 57 |
#
|
| 58 |
+
"paraphrase: Ярославским баням разрешили работать без посетителей",
|
| 59 |
+
"categorize_entailment: Женщину спасают врачи.",
|
| 60 |
+
"search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
|
| 61 |
+
]
|
| 62 |
|
| 63 |
tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRIDA")
|
| 64 |
model = T5EncoderModel.from_pretrained("ai-forever/FRIDA")
|
|
|
|
| 87 |
|
| 88 |
inputs = [
|
| 89 |
#
|
| 90 |
+
"paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
|
| 91 |
+
"categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
|
| 92 |
"search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
|
| 93 |
#
|
| 94 |
+
"paraphrase: Ярославским баням разрешили работать без посетителей",
|
| 95 |
+
"categorize_entailment: Женщину спасают врачи.",
|
| 96 |
+
"search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
|
| 97 |
+
]
|
| 98 |
|
| 99 |
# loads model with CLS pooling
|
| 100 |
model = SentenceTransformer("ai-forever/FRIDA")
|
|
|
|
| 115 |
# loads model with CLS pooling
|
| 116 |
model = SentenceTransformer("ai-forever/FRIDA")
|
| 117 |
|
| 118 |
+
paraphrase = model.encode(["В Ярославской области разрешили работу бань, но без посетителей", "Ярославским баням разрешили работать без посетителей"], prompt_name="paraphrase")
|
| 119 |
+
print(paraphrase[0] @ paraphrase[1].T) # 0.47968706488609314
|
| 120 |
|
| 121 |
+
categorize_entailment = model.encode(["Женщину доставили в больницу, за ее жизнь сейчас борются врачи.", "Женщину спасают врачи."], prompt_name="categorize_entailment")
|
| 122 |
+
print(categorize_entailment[0] @ categorize_entailment[1].T) # 0.940900444984436
|
| 123 |
|
| 124 |
query_embedding = model.encode("Сколько программистов нужно, чтобы вкрутить лампочку?", prompt_name="search_query")
|
| 125 |
document_embedding = model.encode("Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.", prompt_name="search_document")
|
|
|
|
| 129 |
+ # Authors
|
| 130 |
+ [SaluteDevices](https://sberdevices.ru/) AI for B2C RnD Team.
|
| 131 |
+ Artem Snegirev: [HF profile](https://huggingface.co/artemsnegirev);
|
| 132 |
+
+ Anna Maksimova [HF profile](https://huggingface.co/anpalmak);
|
| 133 |
+ Aleksandr Abramov: [HF profile](https://huggingface.co/Andrilko), [Github](https://github.com/Ab1992ao), [Kaggle Competitions Master](https://www.kaggle.com/andrilko)
|
| 134 |
|
| 135 |
|