Sentence Similarity
sentence-transformers
PyTorch
Safetensors
Transformers
Norwegian
bert
feature-extraction
text-embeddings-inference
Instructions to use NbAiLab/nb-sbert-base with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- sentence-transformers
How to use NbAiLab/nb-sbert-base with sentence-transformers:
from sentence_transformers import SentenceTransformer model = SentenceTransformer("NbAiLab/nb-sbert-base") sentences = [ "This is a Norwegian boy", "Dette er en norsk gutt", "This is an English boy", "This is a dog" ] embeddings = model.encode(sentences) similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [4, 4] - Transformers
How to use NbAiLab/nb-sbert-base with Transformers:
# Load model directly from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("NbAiLab/nb-sbert-base") model = AutoModel.from_pretrained("NbAiLab/nb-sbert-base", device_map="auto") - Inference
- Notebooks
- Google Colab
- Kaggle
Update README.md
Browse files
README.md
CHANGED
|
@@ -39,27 +39,22 @@ The model can be used for extracting keywords from the text. The basic technique
|
|
| 39 |
pip install keybert
|
| 40 |
```
|
| 41 |
|
| 42 |
-
```
|
| 43 |
from keybert import KeyBERT
|
| 44 |
from sentence_transformers import SentenceTransformer
|
| 45 |
sentence_model = SentenceTransformer("NbAiLab/nb-sbert")
|
| 46 |
kw_model = KeyBERT(model=sentence_model)
|
| 47 |
|
| 48 |
doc = """
|
| 49 |
-
|
| 50 |
-
gjennom en nasjonal kultur- og kunnskapsbase. Rollen som nasjonalbibliotek
|
| 51 |
-
innebærer blant annet administrering av pliktavleveringsloven som sier at alle
|
| 52 |
-
dokument som produseres i Norge skal pliktavleveres til Nasjonalbiblioteket.
|
| 53 |
-
Dette innebærer bøker, aviser, tidsskrifter, digitale dokumenter, film, video,
|
| 54 |
-
fotografi, kart, kringkasting, lydbøker, musikk, notetrykk, postkort, plakater,
|
| 55 |
-
småtrykk og teatermateriale. Alt stilles til rådighet for publikum i
|
| 56 |
-
Nasjonalbibliotekets publikumslokaler i Oslo.
|
| 57 |
"""
|
| 58 |
kw_model.extract_keywords(doc, stop_words=None)
|
| 59 |
|
| 60 |
-
|
| 61 |
```
|
| 62 |
|
|
|
|
|
|
|
| 63 |
|
| 64 |
## Embeddings and Sentence Similarity (Sentence-Transformers)
|
| 65 |
|
|
|
|
| 39 |
pip install keybert
|
| 40 |
```
|
| 41 |
|
| 42 |
+
```python
|
| 43 |
from keybert import KeyBERT
|
| 44 |
from sentence_transformers import SentenceTransformer
|
| 45 |
sentence_model = SentenceTransformer("NbAiLab/nb-sbert")
|
| 46 |
kw_model = KeyBERT(model=sentence_model)
|
| 47 |
|
| 48 |
doc = """
|
| 49 |
+
De første nasjonale bibliotek har sin opprinnelse i kongelige samlinger eller en annen framstående myndighet eller statsoverhode. Et av de første planene for et nasjonalbibliotek i England ble fremmet av den walisiske matematikeren og mystikeren John Dee som i 1556 presenterte en visjonær plan om et nasjonalt bibliotek for gamle bøker, manuskripter og opptegnelser for dronning Maria I av England. Hans forslag ble ikke tatt til følge.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 50 |
"""
|
| 51 |
kw_model.extract_keywords(doc, stop_words=None)
|
| 52 |
|
| 53 |
+
# [('nasjonalbibliotek', 0.5242), ('bibliotek', 0.4342), ('samlinger', 0.3334), ('statsoverhode', 0.33), ('manuskripter', 0.3061)]
|
| 54 |
```
|
| 55 |
|
| 56 |
+
The [keyBERT Homepage](https://github.com/MaartenGr/KeyBERT) gives several other examples on how this can be used. For instance how it can be combined with stop words, how longer phrases can be extracted and how it directly can output the highlighted text.
|
| 57 |
+
|
| 58 |
|
| 59 |
## Embeddings and Sentence Similarity (Sentence-Transformers)
|
| 60 |
|