| --- |
| tags: |
| - text-embeddings |
| - jepa |
| - self-supervised |
| - vicreg |
| library_name: pytorch |
| license: mit |
| source_code: https://github.com/vasil646srb/jepa_text |
| datasets: |
| - HuggingFaceFW/fineweb-edu |
| base_model: |
| - BAAI/bge-small-en-v1.5 |
| language: |
| - en |
| metrics: |
| - cosine-similarity |
| pipeline_tag: feature-extraction |
| --- |
| |
| # Text-JEPA Streaming Embeddings |
|
|
| Семантические эмбеддинги, обученные с помощью **Text-JEPA** (Joint Embedding Predictive Architecture) на датасете FineWeb-Edu через Streaming Pipeline. |
|
|
| ## 🚀 Особенности |
|
|
| - **Базовая модель**: BGE-Small-EN-v1.5 (ONNX) |
| - **Архитектура**: 2-layer Transformer Encoder + VICReg Loss |
| - **Output dimension**: 128 |
| - **Поддержка**: NVIDIA GPU (CUDA) и CPU (AVX2/FMA) с автоопределением |
| - **Обучение**: 50K+ шагов на 500K примерах (Streaming) |
|
|
| ## 📦 Быстрый старт |
|
|
| ```python |
| from huggingface_hub import snapshot_download |
| |
| # Скачать все веса и код |
| snapshot_download("vasil646/jepa_text", local_dir="./jepa_text") |
