README.md

---
tags:
  - text-embeddings
  - jepa
  - self-supervised
  - vicreg
library_name: pytorch
license: mit
source_code: https://github.com/vasil646srb/jepa_text
datasets:
  - HuggingFaceFW/fineweb-edu
base_model:
  - BAAI/bge-small-en-v1.5
language:
  - en
metrics:
  - cosine-similarity
pipeline_tag: feature-extraction
---

# Text-JEPA Streaming Embeddings

Семантические эмбеддинги, обученные с помощью **Text-JEPA** (Joint Embedding Predictive Architecture) на датасете FineWeb-Edu через Streaming Pipeline.

## 🚀 Особенности

-   **Базовая модель**: BGE-Small-EN-v1.5 (ONNX)
-   **Архитектура**: 2-layer Transformer Encoder + VICReg Loss
-   **Output dimension**: 128
-   **Поддержка**: NVIDIA GPU (CUDA) и CPU (AVX2/FMA) с автоопределением
-   **Обучение**: 50K+ шагов на 500K примерах (Streaming)

## 📦 Быстрый старт

```python
from huggingface_hub import snapshot_download

# Скачать все веса и код
snapshot_download("vasil646/jepa_text", local_dir="./jepa_text")