How to use tranhuudan-fullstack-ai-engineer/model_stage2 with sentence-transformers:
from sentence_transformers import SentenceTransformer model = SentenceTransformer("tranhuudan-fullstack-ai-engineer/model_stage2") sentences = [ "nếu thời_gian đến mà họ phải có một cuộc đấu_tranh johny shanon có_thể là một người ngạc_nhiên", "johny nghĩ anh ta là người giỏi nhất trong thị_trấn", "nếu một cuộc đấu_tranh đã xảy ra johny có_thể ngạc_nhiên đấy", "tất_cả bằng_chứng về văn_hóa từ xã_hội của umbria đã bị mất" ] embeddings = model.encode(sentences) similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [4, 4]
https://huggingface.co/tranhuudan-fullstack-ai-engineer/model_stage2/resolve/main/bpe.codes
hf download hf://tranhuudan-fullstack-ai-engineer/model_stage2/bpe.codes
curl -L -o bpe.codes https://huggingface.co/tranhuudan-fullstack-ai-engineer/model_stage2/resolve/main/bpe.codes
