| --- |
| license: mit |
| language: |
| - kk |
| tags: |
| - kazakh |
| - morphology |
| - nlp |
| - gpt-3.5 |
| - fine-tuning |
| datasets: |
| - custom |
| model-index: |
| - name: kazakh-morphology-gpt3.5 |
| results: |
| - task: |
| type: morphological-analysis |
| metrics: |
| - type: exact-match |
| value: 0.85 |
| - type: edit-distance |
| value: 1.02 |
| extra_gated_prompt: >- |
| Бұл репозиторийге қолжетімділік өтінім бойынша беріледі. Өзіңіз туралы және |
| деректерді қалай қолданатыңыз туралы жазыңыз — өтінімді TilQazyna командасы қарайды. |
| · Доступ к репозиторию выдаётся по заявке. Расскажите о себе и о том, как собираетесь |
| использовать данные — заявку рассматривает команда TilQazyna. |
| · Access to this repository is granted on request. Tell us who you are and how you plan |
| to use the material; the TilQazyna team reviews each application. |
| extra_gated_fields: |
| Аты-жөні / ФИО / Full name: text |
| Ұйым / Организация / Affiliation: text |
| Мақсаты / Цель использования / Intended use: text |
| --- |
| |
| # terminder |
|
|
| Қазақ сөздерін морфемаларға бөлу артефакті · Артефакт морфемной сегментации казахских слов · Kazakh word segmentation artifact |
|
|
| **[Қазақша](#қазақша) · [Русский](#русский) · [English](#english)** |
|
|
| --- |
|
|
| ## Қазақша |
|
|
| **terminder** — қазақ сөздерін түбір мен қосымшаларға бөлетін, көлемі 11.64 ГБ модельдік мұрағат. Негізінде fine-tune жасалған `gpt-3.5-turbo-1106` моделі сипатталған; кіріс ретінде бір сөз қабылдап, морфемаларды қосу таңбасымен бөледі. |
|
|
| ### Құрамы мен нәтижелері |
|
|
| Репозиторийде 3 файл бар. Негізгі материал `termin_dev.zip` мұрағатына жиналған. Карточкада екі бағалау метрикасы берілген. |
|
|
| Мұрағат жергілікті файл ретінде берілгендіктен, оны қолданар алдында бөлек ашып, ішкі ортаны дайындау қажет. |
|
|
| | Метрика | Мәні | |
| |---|---:| |
| | Exact match | 0.85 | |
| | Edit distance | 1.02 | |
|
|
| Бұл нәтижелер `kazakh-morphology-gpt3.5` атауымен тіркелген. Репозиторийде жеке бағалау жиыны мен есептеу тәртібі сипатталмағандықтан, метрикаларды карточкадағы мәндермен бірге келтіру керек. |
|
|
| ### Қалай жүктеуге болады |
|
|
| ```python |
| from pathlib import Path |
| from zipfile import ZipFile |
| from huggingface_hub import hf_hub_download |
| |
| archive = hf_hub_download( |
| repo_id="TilQazyna/terminder", |
| filename="termin_dev.zip", |
| ) |
| target = Path("terminder_files") |
| target.mkdir(exist_ok=True) |
| with ZipFile(archive) as bundle: |
| bundle.extractall(target) |
| print(target.resolve()) |
| ``` |
|
|
| Код рұқсат берілген мұрағатты Hugging Face-тен жүктеп, оны жергілікті бумаға ашады. Fine-tune моделі OpenAI қызметімен байланысты болғандықтан, іске қосу ортасына тиісті тіркелгі рұқсаты қажет. |
|
|
| ### Қолжетімділік |
|
|
| Карточка мен файлдар тізімі баршаға көрінеді. Мұрағатты жүктеу үшін «Request access» формасын жіберу керек; өтінімді TilQazyna командасы қарайды. |
|
|
| ### Байланысты репозиторийлер |
|
|
| Модель [kazakh-terms-8k](https://huggingface.co/datasets/TilQazyna/kazakh-terms-8k) деректеріне сүйенеді. Байланысты жүйелер: [kazakh-terms-gpt](https://huggingface.co/TilQazyna/kazakh-terms-gpt) және [kazakh-terms-analyzer](https://huggingface.co/TilQazyna/kazakh-terms-analyzer). |
|
|
| --- |
|
|
| ## Русский |
|
|
| **terminder** — модельный архив объёмом 11.64 ГБ для сегментации казахских слов на корень и аффиксы. В основе описан fine-tune модели `gpt-3.5-turbo-1106`: она принимает одно слово и возвращает морфемы, разделённые знаком плюса. |
|
|
| ### Состав и результаты |
|
|
| В репозитории 3 файла. Основные материалы упакованы в `termin_dev.zip`. В карточке зарегистрированы две метрики оценки. |
|
|
| | Метрика | Значение | |
| |---|---:| |
| | Exact match | 0.85 | |
| | Edit distance | 1.02 | |
|
|
| Результаты записаны под именем `kazakh-morphology-gpt3.5`. Отдельный оценочный набор и порядок расчёта в репозитории не описаны, поэтому при цитировании метрик нужен контекст карточки. |
|
|
| ### Как загрузить |
|
|
| ```python |
| from pathlib import Path |
| from zipfile import ZipFile |
| from huggingface_hub import hf_hub_download |
| |
| archive = hf_hub_download( |
| repo_id="TilQazyna/terminder", |
| filename="termin_dev.zip", |
| ) |
| target = Path("terminder_files") |
| target.mkdir(exist_ok=True) |
| with ZipFile(archive) as bundle: |
| bundle.extractall(target) |
| print(target.resolve()) |
| ``` |
|
|
| Скрипт скачивает разрешённый архив с Hugging Face и распаковывает его в локальный каталог. Fine-tune связан с сервисом OpenAI, поэтому среде запуска потребуется соответствующий доступ к учётной записи. |
|
|
| ### Доступ |
|
|
| Карточка и список файлов доступны для просмотра. Архив скачивается после одобрения заявки, отправленной кнопкой «Request access»; решение принимает команда TilQazyna. |
|
|
| ### Связанные репозитории |
|
|
| Для модели использован [kazakh-terms-8k](https://huggingface.co/datasets/TilQazyna/kazakh-terms-8k). Связанные системы: [kazakh-terms-gpt](https://huggingface.co/TilQazyna/kazakh-terms-gpt) и [kazakh-terms-analyzer](https://huggingface.co/TilQazyna/kazakh-terms-analyzer). |
|
|
| --- |
|
|
| ## English |
|
|
| **terminder** is an 11.64 GB model archive for segmenting Kazakh words into a root and affixes. The card describes a fine-tuned `gpt-3.5-turbo-1106` model that accepts one word and returns its morphemes separated by plus signs. |
|
|
| ### Contents and results |
|
|
| The repository contains 3 files, with the main material packaged in `termin_dev.zip`. Its model index reports two evaluation metrics. |
|
|
| | Metric | Value | |
| |---|---:| |
| | Exact match | 0.85 | |
| | Edit distance | 1.02 | |
|
|
| These results are registered under `kazakh-morphology-gpt3.5`. The repository does not describe a separate evaluation set or calculation procedure, so citations of these metrics should retain the context of this card. |
|
|
| ### Downloading the archive |
|
|
| ```python |
| from pathlib import Path |
| from zipfile import ZipFile |
| from huggingface_hub import hf_hub_download |
| |
| archive = hf_hub_download( |
| repo_id="TilQazyna/terminder", |
| filename="termin_dev.zip", |
| ) |
| target = Path("terminder_files") |
| target.mkdir(exist_ok=True) |
| with ZipFile(archive) as bundle: |
| bundle.extractall(target) |
| print(target.resolve()) |
| ``` |
|
|
| The script downloads the approved archive from Hugging Face and extracts it into a local directory. Because the fine-tune is tied to an OpenAI service, the runtime also needs access to the corresponding account. |
|
|
| ### Access |
|
|
| Anyone can inspect the card and file listing. The archive becomes downloadable after the TilQazyna team approves a request submitted through “Request access.” |
|
|
| ### Related repositories |
|
|
| The model uses [kazakh-terms-8k](https://huggingface.co/datasets/TilQazyna/kazakh-terms-8k) as training data. Related systems are [kazakh-terms-gpt](https://huggingface.co/TilQazyna/kazakh-terms-gpt) and [kazakh-terms-analyzer](https://huggingface.co/TilQazyna/kazakh-terms-analyzer). |
|
|
| --- |
|
|
| Лицензия · License: mit · [TilQazyna](https://huggingface.co/TilQazyna) |
|
|
