Update README.md

README.md

@@ -1,22 +1,30 @@
 ---
-library_name: ggml
+library_name: transformers
 language:
 - ru
 - en
 pipeline_tag: text-generation
-license: apache-2.0
+license: other
 license_name: apache-2.0
-license_link: https://huggingface.co/MTSAIR/Kodify-Nano-GGUF/blob/main/Apache%20License%20MTS%20AI.docx
+license_link: https://huggingface.co/MTSAIR/Kodify-Nano/blob/main/Apache%20License%20MTS%20AI.docx
 ---
 
-# Kodify-Nano-GGUF 🤖
 
-Kodify-Nano-GGUF - GGUF версия модели [MTSAIR/Kodify-Nano](https://huggingface.co/MTSAIR/Kodify-Nano), оптимизированная для CPU/GPU-инференса и использованием Ollama/llama.cpp. Легковесная LLM для задач разработки кода с минимальными ресурсами.
 
-Kodify-Nano-GGUF - GGUF version of [MTSAIR/Kodify-Nano](https://huggingface.co/MTSAIR/Kodify-Nano), optimized for CPU/GPU inference with Ollama/llama.cpp. Lightweight LLM for code development tasks with minimal resource requirements.
 
+# Kodify-Nano 🤖
 
-## Using the Image
+Kodify-Nano – это легковесная LLM, разработанная для выполнения задач разработки кода с минимальными ресурсами. Она оптимизирована для быстрого и эффективного взаимодействия с пользователями, обеспечивая высокую производительность даже в условиях ограниченных ресурсов. 
+
+Kodify-Nano is a lightweight LLM designed for code development tasks with minimal resource usage. It is optimized for fast and efficient interaction, delivering high performance even in resource-constrained environments.
+
+## Inference with vLLM
+```bash
+python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Kodify-Nano --port 8985
+```
+---
+
+## Using the Ollama Image
 You can run Kodify Nano on OLLAMA in two ways:
 
 1. **Using Docker**  
@@ -130,70 +138,140 @@ If you changed the Docker port from `8985`, update the plugin's `config.json`:
 ---
 
 
-## Available quantization variants:
-- Kodify_Nano_q4_k_s.gguf (balanced)
-- Kodify_Nano_q8_0.gguf (high quality)
-- Kodify_Nano.gguf (best quality, unquantized)
+### Example API Request
+```python
+import openai
+
+openai.api_key = 'xxx'  # Replace with your key
+openai.api_base = 'http://localhost:8985/v1'  # Update if port changed
+
+response = openai.ChatCompletion.create(
+    model="MTSAIR/Kodify-Nano",
+    temperature=0.4,
+    max_tokens=2048,
+    top_p=0.8,
+    messages=[
+        {"role": "user", "content": "Write a Python algorithm to find all unique words in a text."}
+    ]
+)
 
-Download using huggingface_hub:
+print(response["choices"][0]["message"]["content"])
 
-```bash
-pip install huggingface-hub
-python -c "from huggingface_hub import hf_hub_download; hf_hub_download(repo_id='MTSAIR/Kodify-Nano-GGUF', filename='Kodify_Nano_q4_k_s.gguf', local_dir='./models')"
-```
+### Inference with Hugging Face
 
+from transformers import pipeline
 
-## Python Integration
+pipe = pipeline("text-generation", model="MTSAIR/Kodify-Nano", device="cuda")
 
-Install Ollama Python library:
+messages = [
+    {"role": "user", "content": "Write a Python algorithm to find all unique words in a text."},
+]
 
-```bash
-pip install ollama
+response = pipe(messages, max_length=1024)
+print(response[0]['generated_text'][-1]['content'])
 ```
+---
 
-Example code:
+## Example Interaction
 
-```python
-import ollama
-
-response = ollama.generate(
-    model="kodify-nano",
-    prompt="Write a Python function to calculate factorial",
-    options={
-        "temperature": 0.4,
-        "top_p": 0.8,
-        "num_ctx": 8192
-    }
-)
+**User Request:**
+*Напиши простой сервер на flask с объяснениями на русском языке.*
 
-print(response['response'])
-```
+#### Kodify-Nano response:
 
-## Usage Examples
+>Конечно! Давайте создадим простой сервер на Flask с объяснениями на русском языке. Flask - это мини-модуль для создания веб-приложений на Python, который позволяет быстро и легко разрабатывать приложения с использованием библиотеки Werkzeug.
 
-```python
-response = ollama.generate(
-    model="kodify-nano",
-    prompt="""<s>[INST] 
-Write a Python function that:
-1. Accepts a list of numbers
-2. Returns the median value
-[/INST]""",
-    options={"max_tokens": 512}
-)
+>### Установка Flask
 
-### Code Refactoring
-response = ollama.generate(
-    model="kodify-nano",
-    prompt="""<s>[INST] 
-Refactor this Python code:
-
-def calc(a,b):
-    s = a + b
-    d = a - b
-    p = a * b
-    return s, d, p
-[/INST]""",
-    options={"temperature": 0.3}
-)
-```
+>Для начала, убедитесь, что у вас установлен Python. После этого установите Flask с помощью pip:
+
+>```sh
+>pip install Flask
+>```
+
+>### Пример простого сервера на Flask
+
+>Вот пример простого приложения на Flask, которое будет отвечать на запросы на `/hello` и выводить "Hello, World!".
+
+>1. Создайте новый файл, например, `app.py`.
+>2. Откройте файл в текстовом редакторе и вставьте следующий код:
+
+>```python
+>from flask import Flask
+
+>app = Flask(__name__)
+
+>@app.route('/hello')
+>def hello_world():
+>    return 'Hello, World!'
+
+>if __name__ == '__main__':
+>    app.run(debug=True)
+>```
+
+>### Объяснение кода
+
+>1. **Импорт Flask**: Мы импортируем класс Flask из модуля `flask`.
+>2. **Создание экземпляра Flask**: Создаем экземпляр класса Flask с именем `app`.
+>3. **Обработчик запросов**: Мы декорируем функцию `hello_world` с помощью `@app.route('/hello')`. Это означает, что при запросе на `/hello` Flask вызовет функцию `hello_world`.
+>4. **Возвращение ответа**: Функция `hello_world` возвращает строку `'Hello, World!'`.
+>5. **Запуск сервера**: В конце файла добавляем проверку, чтобы при запуске скрипта он запускался в режиме отладки (`debug=True`).
+
+>### Запуск сервера
+
+>1. Откройте терминал и перейдите в директорию, в которой находится ваш файл `app.py`.
+>2. Запустите скрипт с помощью команды:
+
+>```sh
+>python app.py
+>```
+>
+>3. Вы увидите сообщение, что сервер запущен на порту 5000. Например:
+
+>```
+> * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)
+>```
+
+>4. Откройте браузер и перейдите на адрес `http://127.0.0.1:5000/hello`. Вы должны увидеть сообщение "Hello, World!".
+
+>### Дополнительные функции
+
+>Flask предоставляет множество других функций для создания более сложных приложений. Вот некоторые из них:
+
+>- **Функции маршрутизации**: Вы можете добавлять дополнительные маршруты, обрабатывать параметры запросов и т.д.
+>- **Вьюшки**: Вы можете создавать вьюшки, которые возвращают HTML-страницы.
+>- **Сессии**: Вы можете использовать сессии для хранения данных между запросами.
+>- **БД**: Вы можете подключаться к базе данных и выполнять запросы.
+
+>Давайте рассмотрим пример с вьюшкой:
+
+>```python
+>from flask import Flask, render_template
+
+>app = Flask(__name__)
+
+>@app.route('/')
+>def index():
+>    return render_template('index.html')
+
+>if __name__ == '__main__':
+>    app.run(debug=True)
+>```
+
+>1. **Вьюшка**: Создаем файл `templates/index.html` в папке `templates` (если он еще не существует) и добавляем следующий код:
+>
+>```html
+><!DOCTYPE html>
+><html lang="ru">
+><head>
+>    <meta charset="UTF-8">
+>    <title>Пример вьюшки</title>
+></head>
+><body>
+>    <h1>Привет, мир!</h1>
+>    <p>Это пример вьюшки на Flask.</p>
+></body>
+></html>
+>```
+
+>2. **Запуск сервера**: Сохраните файлы и запустите сервер снова. Откройте браузер и перейдите на адрес `http://127.0.0.1:5000/`. Вы должны увидеть HTML-страницу с текстом "Привет, мир!".