|
|
--- |
|
|
license: apache-2.0 |
|
|
language: ru |
|
|
tags: |
|
|
- vision-language |
|
|
- document-ai |
|
|
- table-extraction |
|
|
- russian |
|
|
- qlora |
|
|
base_model: |
|
|
- ibm-granite/granite-vision-3.3-2b |
|
|
--- |
|
|
|
|
|
# 🪨 Granite-Vision 3.3-2B-1.1 — **RU small Table Extractor** by NIKTA AI |
|
|
|
|
|
Была обучена на небольшом синтетическом датасете для тестирования на pdf таблицах печатного шрифта для сравнения с Qwen-2.5-VL-3b, Granite-Vision-3.3-2B(оригинал). |
|
|
|
|
|
Полный чекпойнт (IBM Granite-Vision 3.3-2B + QLoRA-файнтюн) для **извлечения таблиц на русском языке** из изображений экстракшн таблиц. |
|
|
|
|
|
✅ Отвечает строго в формате валидного JSON: |
|
|
```json |
|
|
{"columns": [...], "rows": [[...], [...]]} |
|
|
``` |
|
|
|
|
|
--- |
|
|
|
|
|
## 📊 Бенчмарк (примерные результаты и разница между моделями) |
|
|
|
|
|
| Таблица | IBM Granite (base) | Granite-RU (этот репозиторий) | Ошибки | |
|
|
|---------------|---------------------------------|-------------------------------|--------| |
|
|
| `table_1.png` | ✅ | ✅ | — | |
|
|
| `table_2.png` | ✅ | ⚠ | `Блохин` → `Бложин`<br>`Павловна` → `Гавловна` | |
|
|
| `table_3.png` | ✅ | ✅ | — | |
|
|
| `table_4.png` | ⚠ `rows` без вложенности (неверно) | ✅ `rows` вложенный формат | — | |
|
|
| `table_5.png` | ✅ | ✅ | — | |
|
|
|
|
|
**Вывод:** |
|
|
`Granite-RU` обходит оригинальный `ibm-granite-3.3-2b` и Qwen 2.5 VL 3b в точности, особенно в структурной корректности: `rows` всегда двухмерный список (`[[...], [...]]`), что упрощает последующую обработку. Ошибки сведены к минимуму. |
|
|
|
|
|
--- |
|
|
|
|
|
## 🚀 Быстрый старт |
|
|
|
|
|
```python |
|
|
from transformers import AutoModelForVision2Seq, AutoProcessor |
|
|
from PIL import Image |
|
|
import json, torch |
|
|
|
|
|
model_id = "fron1runner/granite-ru" |
|
|
|
|
|
model = (AutoModelForVision2Seq |
|
|
.from_pretrained(model_id, _attn_implementation="sdpa") |
|
|
.half().cuda()) |
|
|
|
|
|
proc = AutoProcessor.from_pretrained(model_id) |
|
|
|
|
|
img = Image.open("sample.png").convert("RGB") |
|
|
|
|
|
prompt = proc.apply_chat_template([ |
|
|
{ |
|
|
"role": "system", |
|
|
"content": [{"type": "text", "text": "Отвечай только валидным JSON {\"columns\":[],\"rows\":[[]]}."}] |
|
|
}, |
|
|
{ |
|
|
"role": "user", |
|
|
"content": [ |
|
|
{"type": "image", "image": img}, |
|
|
{"type": "text", "text": "Извлеки таблицу полностью и верни только JSON."} |
|
|
] |
|
|
} |
|
|
], add_generation_prompt=True) |
|
|
|
|
|
batch = proc(text=prompt, images=[[img]], return_tensors="pt").to("cuda") |
|
|
|
|
|
out = model.generate(**batch, max_new_tokens=384, temperature=0.1) |
|
|
|
|
|
print(json.loads(proc.decode(out[0], skip_special_tokens=True))) |
|
|
``` |
|
|
|
|
|
--- |
|
|
|
|
|
## 🧠 Подходит для |
|
|
|
|
|
- Систем документооборота |
|
|
- OCR-интеграций с AI |
|
|
- RAG-систем |
|
|
- Финансовых, юридических, административных таблиц |
|
|
- Препроцессинга для LLM |
|
|
- Средних и малых таблиц |
|
|
|
|
|
--- |
|
|
|
|
|
**🧪 Model by `fron1runner` NIKTA AI company** |
|
|
На базе `ibm-granite/granite-vision-3.3-2b` с лёгким QLoRA дообучением на синтетике. |
|
|
|
|
|
Автор: Компания NIKTA AI, Виктор Колесников |
