metadata
tags:
- text-embeddings
- jepa
- self-supervised
- vicreg
library_name: pytorch
license: mit
source_code: https://github.com/vasil646srb/jepa_text
datasets:
- HuggingFaceFW/fineweb-edu
base_model:
- BAAI/bge-small-en-v1.5
language:
- en
metrics:
- cosine-similarity
pipeline_tag: feature-extraction
Text-JEPA Streaming Embeddings
Семантические эмбеддинги, обученные с помощью Text-JEPA (Joint Embedding Predictive Architecture) на датасете FineWeb-Edu через Streaming Pipeline.
🚀 Особенности
- Базовая модель: BGE-Small-EN-v1.5 (ONNX)
- Архитектура: 2-layer Transformer Encoder + VICReg Loss
- Output dimension: 128
- Поддержка: NVIDIA GPU (CUDA) и CPU (AVX2/FMA) с автоопределением
- Обучение: 50K+ шагов на 500K примерах (Streaming)
📦 Быстрый старт
from huggingface_hub import snapshot_download
# Скачать все веса и код
snapshot_download("vasil646/jepa_text", local_dir="./jepa_text")