Readme updated

README.md

@@ -1,3 +1,35 @@
----
-license: mit
----
+---
+license: mit
+---
+
+# morphemizer - Morpheme-based Russian Tokenizer
+
+В репозитории содержится только токенизатор.
+
+На данный момент проект на ранней стадии разработки.
+
+## Как пользоваться
+
+Для начала необходимо скачать пару библиотке:
+
+```shell
+pip install transformers rumorpheme
+```
+
+Небольшой пример использования:
+
+```python
+from transformers import AutoTokenizer
+
+# Wrap it with RuMorphemeTokenizerFast for compatibility with transformers
+tokenizer = AutoTokenizer.from_pretrained("./tokenizer", trust_remote_code=True)
+
+test_text = "Философское восприятие мира."
+# test_text = "Привет! Как твои дела?"
+input_ids = tokenizer.encode(test_text)
+
+print("Text:", test_text)
+print("Encoded:", input_ids)
+print("Tokens:", tokenizer.convert_ids_to_tokens(input_ids))
+print("Decoded:", tokenizer.decode(input_ids))
+```