File size: 594 Bytes
5329bd8 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | from transformers import BertTokenizer, BertModel
import torch
# Charger le tokenizer et le modèle
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
# Exemple de texte
text = "Voici un exemple de texte."
# Tokeniser le texte
inputs = tokenizer(text, return_tensors='pt')
# Obtenir les embeddings
outputs = model(**inputs)
# Sauvegarder les embeddings dans un fichier
embeddings = outputs.last_hidden_state
torch.save(embeddings, 'embeddings.pt')
print("Embeddings sauvegardés dans 'embeddings.pt'") |