| | --- |
| | license: mit |
| | language: |
| | - ru |
| | tags: |
| | - conversational |
| | - internet-language |
| | - slang |
| | - experimental |
| | - research |
| | - education |
| | - casual |
| | - 2ch |
| | - rugpt |
| | base_model: sberbank-ai/rugpt2large |
| | --- |
| | |
| |
|
| | SberGPT2 InternetLanguage-RU Model (Experimental) |
| |
|
| | 🇷🇺 Русскоязычная языковая модель на базе GPT-2 от Сбера, дообученная на отфильтрованных постах русскоязычного имиджборда 2ch (Двач). |
| |
|
| | Внимание: модель может генерировать нежелательный или бессмысленный контент. Используйте с осторожностью. |
| | Описание |
| |
|
| | Модель дообучалась на постах с Двача (2ch.hk) после базовой версии sberbank-ai/rugpt2large |
| |
|
| | . |
| | Посты были фильтрованы автоматическими скриптами для удаления нецензурной лексики, токсичности и оффтопа. Тем не менее, гарантировать безопасность контента невозможно. |
| |
|
| | Цель — исследование и экспериментальная генерация неформального текста, разговорного русского языка, сленга и "интернет-культуры". |
| |
|
| | Эта модель распространяется под лицензией MIT, с добавленным отказом от ответственности. |
| |
|
| | Модель предназначена исключительно для исследовательских и образовательных целей. Автор не несёт ответственности за возможный вред, причинённый использованием модели. Используйте на свой страх и риск. |
| | Использование |
| |
|
| | --- |
| |
|
| | ## Использование |
| |
|
| | ```python |
| | from transformers import AutoTokenizer, AutoModelForCausalLM |
| | |
| | tokenizer = AutoTokenizer.from_pretrained("MarkProMaster229/InternetLanguage") |
| | model = AutoModelForCausalLM.from_pretrained("MarkProMaster229/InternetLanguage") |
| | |
| | # Пример генерации текста |
| | input_text = "Привет! Как дела?" |
| | inputs = tokenizer(input_text, return_tensors="pt") |
| | outputs = model.generate(**inputs, max_length=50, do_sample=True, top_k=50, top_p=0.95) |
| | print(tokenizer.decode(outputs[0], skip_special_tokens=True)) |
| | |
