Upload folder using huggingface_hub

.logfile

@@ -0,0 +1,29 @@
+START:start-newton.py
+VERSION:1.0beta0
+ERROR:
+
+'Загрузка баз данных для эмбеддингов...
+Wikipedia: Debian
+Wikipedia: GTK
+Wikipedia: Искусственный интеллект
+Wikipedia: Браузер
+Wikipedia: Ubuntu
+Wikipedia: Windows
+Wikipedia: Zorin OS
+Wikipedia: Видеоигра
+Wikipedia: Linux Mint
+Traceback (most recent call last):
+  File "/home/kolyadual/MyCustomNERO/NewtonBot/embedder.py", line 60, in <module>
+    if page.exists():
+       ^^^^^^^^^^^^^
+  File "/home/kolyadual/.local/lib/python3.12/site-packages/wikipediaapi/__init__.py", line 999, in exists
+    return bool(self.pageid != -1)
+                ^^^^^^^^^^^
+  File "/home/kolyadual/.local/lib/python3.12/site-packages/wikipediaapi/__init__.py", line 953, in __getattr__
+    self._fetch(call)
+  File "/home/kolyadual/.local/lib/python3.12/site-packages/wikipediaapi/__init__.py", line 1153, in _fetch
+    getattr(self.wiki, call)(self)
+  File "/home/kolyadual/.local/lib/python3.12/site-packages/wikipediaapi/__init__.py", line 341, in info
+    self._common_attributes(raw["query"], page)
+                            ~~~^^^^^^^^^
+KeyError: 'query' '

embedder.py

@@ -0,0 +1,99 @@
+import json
+import os
+import sys
+import requests
+from bs4 import BeautifulSoup
+import wikipediaapi
+import numpy as np
+from sentence_transformers import SentenceTransformer
+import time
+
+print("Загрузка баз данных для эмбеддингов...")
+model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
+
+wiki = wikipediaapi.Wikipedia(
+    language='ru',
+    extract_format=wikipediaapi.ExtractFormat.WIKI,
+    user_agent="NewtonBot v1.0 (kolyadual.man@gmail.com)"
+)
+
+KNOWLEDGE_DIR = "knowledge"
+os.makedirs(KNOWLEDGE_DIR, exist_ok=True)
+
+all_texts = []
+
+habr_urls = [
+    "https://habr.com/ru/articles/some-python-guide/",
+    "https://habr.com/ru/articles/debian-setup-tips/",
+]
+
+for url in habr_urls:
+    try:
+        r = requests.get(url, headers={"User-Agent": "Mozilla/5.0"})
+        soup = BeautifulSoup(r.text, 'html.parser')
+        title = soup.find("h1").get_text() if soup.find("h1") else "Без названия"
+        content = soup.find("div", {"id": "post-content-body"})
+        if content:
+            text = content.get_text()[:2000]
+            all_texts.append({"source": "habr", "title": title, "text": text})
+            print(f"Готово: {title}")
+    except Exception as e:
+        print(f"Ошибка Habr: {e}")
+    time.sleep(1)
+
+recipes = [
+    {
+        "title": "Борщ классический",
+        "text": "Сварить бульон из говядины. Обжарить свеклу, добавить капусту, картофель, чеснок. Варить 1.5 часа."
+    },
+    {
+        "title": "Пельмени домашние",
+        "text": "Замесить тесто, сделать фарш из мяса и лука, слепить пельмени, заморозить или сразу варить."
+    }
+]
+
+all_texts.extend([{"source": "recipe", **r} for r in recipes])
+
+wiki_topics = ["Debian", "GTK", "Искусственный интеллект", "Браузер", "Ubuntu", "Windows", "Zorin OS", "Видеоигра", "Linux Mint", ""]
+for topic in wiki_topics:
+    page = wiki.page(topic)
+    if page.exists():
+        all_texts.append({
+            "source": "wikipedia",
+            "title": "Что такое " + page.title,
+            "text": page.summary[:2000]
+        })
+        print(f"Wikipedia: {topic}")
+
+import praw
+
+reddit = praw.Reddit(
+    client_id="2LkJE23ueEU1ur8FjZvNiA",
+    client_secret="FISSVAi2J_QrTVHdoQLzAGs2DnDTIg",
+    user_agent="newtonbot:v1.0"
+)
+
+subreddits = ["r/Python", "r/debian", "r/selfhosted"]
+for sr in subreddits:
+    try:
+        for post in reddit.subreddit(sr[2:]).hot(limit=5):
+            all_texts.append({
+                "source": "reddit",
+                "title": post.title,
+                "text": post.selftext[:2000] or post.title
+            })
+    except Exception as e:
+        print(f"Reddit: {e}")
+
+with open(f"{KNOWLEDGE_DIR}/full_knowledge.json", "w", encoding="utf-8") as f:
+    json.dump(all_texts, f, ensure_ascii=False, indent=2)
+
+print("Генерация эмбеддингов...")
+sentences = [item["text"] for item in all_texts]
+embeddings = model.encode(sentences, show_progress_bar=True)
+
+np.save(f"{KNOWLEDGE_DIR}/embeddings.npy", embeddings)
+with open(f"{KNOWLEDGE_DIR}/chunks.json", "w", encoding="utf-8") as f:
+    json.dump(all_texts, f, ensure_ascii=False, indent=2)
+
+print(f"База знаний готова! {len(all_texts)} фрагментов.")

knowledge/chunks.json

@@ -0,0 +1,52 @@
+[
+  {
+    "source": "recipe",
+    "title": "Борщ классический",
+    "text": "Сварить бульон из говядины. Обжарить свеклу, добавить капусту, картофель, чеснок. Варить 1.5 часа."
+  },
+  {
+    "source": "recipe",
+    "title": "Пельмени домашние",
+    "text": "Замесить тесто, сделать фарш из мяса и лука, слепить пельмени, заморозить или сразу варить."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Debian",
+    "text": "Debian ([ˈdɛbiən]) — операционная система, состоящая из свободного ПО с открытым исходным кодом. В настоящее время Debian GNU/Linux — один из самых популярных и важных дистрибутивов GNU/Linux, в первичной форме оказавший значительное влияние на развитие этого типа ОС в целом. Debian может использоваться в качестве операционной системы как для серверов, так и для рабочих станций.\nDebian имеет наибольшее среди всех дистрибутивов хранилище пакетов — готовых к использованию программ и библиотек, — и если даже не по их числу, то по числу поддерживаемых архитектур: начиная с ARM, используемой во встраиваемых устройствах, наиболее популярных x86-64 и PowerPC, и заканчивая IBM S/390, используемой в мейнфреймах. Для работы с хранилищем разработаны разные средства, самое популярное из которых — Advanced Packaging Tool (APT).\nDebian стал основой ряда дистрибутивов, таких как Ubuntu, Linux Mint, antiX, Kali Linux, Knoppix, Maemo, SteamOS, TAILS, Astra Linux.\nНазвание «Debian» составлено из имён основателя проекта Иана Мёрдока (Ian Murdock) и его жены Дебры Линн (Debra Lynn).\nDebian и дистрибутивы, основанные на нём (более 100), используют формат пакетов .deb и менеджер пакетов dpkg."
+  },
+  {
+    "source": "wikipedia",
+    "title": "GTK",
+    "text": "GTK (ранее GTK+; сокращение от GIMP ToolKit) — кроссплатформенная библиотека элементов интерфейса (фреймворк), имеет простой в использовании API, наряду с Qt является одной из двух наиболее популярных на сегодняшний день библиотек для Wayland и X Window System.\nБудучи изначально частью графического редактора GIMP, она развилась в отдельный проект и приобрела заметную популярность. GTK — свободное ПО, распространяемое на условиях GNU LGPL, позволяющей создавать как свободное, так и проприетарное программное обеспечение с использованием библиотеки. GTK является официальной библиотекой для создания графического интерфейса проекта GNU."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Искусственный интеллект",
+    "text": "Иску́сственный интелле́кт или ИИ, Искусственный разум (англ. artificial intelligence; AI) в самом широком смысле — это комплекс инструментов, позволяющих решать задачи уровня человеческого интеллекта (такие как восприятие, обучение (learning), рассуждение, решение проблем и принятие решений) и реализованных машинами, в частности компьютерными системами. Это область исследований в области компьютерных наук, которая разрабатывает и изучает методы и программное обеспечение, позволяющие машинам воспринимать окружающую среду и использовать обучение и интеллект для выполнения действий, которые максимально увеличивают их шансы на достижение поставленных целей. Т��кие машины можно назвать искусственным интеллектом.\n\nНекоторые из наиболее известных приложений искусственного интеллекта включают в себя передовые поисковые системы (например, Google Search, Bing, Яндекс); рекомендательные системы (используемые на YouTube, Amazon и Netflix); взаимодействие посредством человеческой речи (например, Google Assistant, Siri, Alexa, Алиса); автономные транспортные средства (например, Waymo); генеративные и творческие инструменты (например, ChatGPT, Apple Intelligence и искусство искусственного интеллекта); а также сверхчеловеческую игру и анализ в стратегических играх (например, шахматы и го). Однако многие приложения искусственного интеллекта не воспринимаются как искусственный интеллект: «Многие передовые разработки искусственного интеллекта проникли в общие приложения, часто не называясь искусственным интеллектом, потому что как только что-то становится достаточно полезным и достаточно распространённым, его больше не называют искусственным интеллектом».\nАлан Тьюринг был первым человеком, который провёл масштабные исследования в области, которую он назвал машинным интеллектом. Искусственный интеллект был основан как академическая дисциплина в 1956 году теми, кого сейчас считают отцами-основателями искусственного интеллекта: Джоном Маккарти, Марвином Мински, Натаниэлем Рочестером и Кло"
+  },
+  {
+    "source": "wikipedia",
+    "title": "Браузер",
+    "text": "Бра́узер, обозреватель, веб-обозреватель или веб-браузер (от англ. web browser, МФА: [wɛb ˈbraʊ.zə(ɹ), -zɚ]; устар. бро́узер) — прикладное программное обеспечение для просмотра страниц, содержания веб-документов, компьютерных файлов и их каталогов; управления веб-приложениями; а также для решения других задач. В глобальной сети браузеры используют для запроса, обработки, манипулирования и отображения содержания веб-сайтов. Многие современные браузеры также могут использоваться для непосредственного просмотра содержания файлов многих графических форматов (GIF, JPEG, PNG, SVG), аудио- и видеоформатов (MP3, MPEG), текстовых форматов (PDF, DjVu) и других файлов.\nДля каждой страны есть свои серверы, к которым подключается браузер.\nФункциональные возможности браузеров постоянно расширяются и улучшаются благодаря конкуренции между их разработчиками и высоким темпам развития и внедрения информационных технологий. Несмотря на то, что браузеры разных изготовителей базируются на разных технологических решениях, большинство современных браузеров придерживается международных стандартов и рекомендаций W3C в области обработки и отображения данных. Стандартизация позволяет добиться предсказуемости в визуальном представлении информации конечному пользователю независимо от технологии, которая использована для её отображения в браузере. Со времени начала применения браузеров во Всемирной паутине в начале 1990-х годов из простого средства просмотра текстово�� информации браузер превратился в комплексное прикладное программное обеспечение для обработки данных и обеспечения интерфейса между информационными ресурсами и человеком. В последние годы многие разработчики браузеров сосредоточили свои усилия на повышении удобства пользовательского интерфейса браузеров для их использования в аппаратных устройствах, в которых применяются сенсорные экраны.\nБраузеры распространяются, как правило, бесплатно. Потребителям браузер может быть поставлен в форме самостоятельного (автономного) приложения ил"
+  },
+  {
+    "source": "wikipedia",
+    "title": "Ubuntu",
+    "text": "Ubuntu (МФА [ʊˈbʊntuː]; от зулу ubuntu — «человечность»; «Убу́нту») — дистрибутив GNU/Linux, основанный на Debian GNU/Linux. Основным разработчиком и спонсором является компания Canonical. В настоящее время проект активно развивается и поддерживается свободным сообществом."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Windows",
+    "text": "Microsoft Windows (с англ. — «окна», сокр. Win) — группа семейств коммерческих проприетарных операционных систем корпорации Microsoft, ориентированных на управление с помощью графического интерфейса."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Zorin OS",
+    "text": "Zorin OS — дистрибутив Linux для персональных, учебных и офисных компьютеров, создаваемый с целью облегчить переход с Windows в Linux-подобную операционную систему. В Zorin OS используются приложения, которые могут изменить внешний вид операционной системы так, чтобы она напоминала Windows XP/7/10/11, macOS, Linux Ubuntu. Последняя версия Zorin OS 17 использует кодовую базу Ubuntu 22.04."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Видеоигра",
+    "text": "Видеоигра́ (англ. video game) — игра с использованием изображений, сгенерированных электронной аппаратурой. Другими словами, видеоигра является электронной игрой, которая базируется на взаимодействии человека и устройства посредством визуального и  физического интерфейса, например телевизора, монитора компьютера или телефона.\nДругие определения термина:\n\nкомпьютерная игра, воспроизводимая на экране телевизора с помощью игровой приставки.\nвидеоигровое устройство (предметом которого является видеоигра) — бытовой радиоэлектронный аппарат, предназначенный для отображения игровой информации на экране телевизионного приёмника или бытового видеомонитора.\nВместе с тем в настоящее время термины компьютерная игра и видеоигра могут употребляться как синонимы и взаимозаменяться."
+  }
+]

knowledge/embeddings.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:224badd59068c27b65527489e14408bce83b8d7a4f7a64fce32e1fdeded3cd5b
+size 15488

knowledge/full_knowledge.json

@@ -0,0 +1,52 @@
+[
+  {
+    "source": "recipe",
+    "title": "Борщ классический",
+    "text": "Сварить бульон из говядины. Обжарить свеклу, добавить капусту, картофель, чеснок. Варить 1.5 часа."
+  },
+  {
+    "source": "recipe",
+    "title": "Пельмени домашние",
+    "text": "Замесить тесто, сделать фарш из мяса и лука, слепить пельмени, заморозить или сразу варить."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Что такое Debian?",
+    "text": "Debian ([ˈdɛbiən]) — операционная система, состоящая из свободного ПО с открытым исходным кодом. В настоящее время Debian GNU/Linux — один из самых популярных и важных дистрибутивов GNU/Linux, в первичной форме оказавший значительное влияние на развитие этого типа ОС в целом. Debian может использоваться в качестве операционной системы как для серверов, так и для рабочих станций.\nDebian имеет наибольшее среди всех дистрибутивов хранилище пакетов — готовых к использованию программ и библиотек, — и если даже не по их числу, то по числу поддерживаемых архитектур: начиная с ARM, используемой во встраиваемых устройствах, наиболее популярных x86-64 и PowerPC, и заканчивая IBM S/390, используемой в мейнфреймах. Для работы с хранилищем разработаны разные средства, самое популярное из которых — Advanced Packaging Tool (APT).\nDebian стал основой ряда дистрибутивов, таких как Ubuntu, Linux Mint, antiX, Kali Linux, Knoppix, Maemo, SteamOS, TAILS, Astra Linux.\nНазвание «Debian» составлено из имён основателя проекта Иана Мёрдока (Ian Murdock) и его жены Дебры Линн (Debra Lynn).\nDebian и дистрибутивы, основанные на нём (более 100), используют формат пакетов .deb и менеджер пакетов dpkg."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Что такое GTK?",
+    "text": "GTK (ранее GTK+; сокращение от GIMP ToolKit) — кроссплатформенная библиотека элементов интерфейса (фреймворк), имеет простой в использовании API, наряду с Qt является одной из двух наиболее популярных на сегодняшний день библиотек для Wayland и X Window System.\nБудучи изначально частью графического редактора GIMP, она развилась в отдельный проект и приобрела заметную популярность. GTK — свободное ПО, распространяемое на условиях GNU LGPL, позволяющей создавать как свободное, так и проприетарное программное обеспечение с использованием библиотеки. GTK является официальной библиотекой для создания графического интерфейса проекта GNU."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Искусственный интеллект",
+    "text": "Иску́сственный интелле́кт или ИИ, Искусственный разум (англ. artificial intelligence; AI) в самом широком смысле — это комплекс инструментов, позволяющих решать задачи уровня человеческого интеллекта (такие как восприятие, обучение (learning), рассуждение, решение проблем и принятие решений) и реализованных машинами, в частности компьютерными системами. Это область исследований в области компьютерных наук, которая разрабатывает и изучает методы и программное обеспечение, позволяющие машинам воспринимать окружающую среду и использовать обучение и интеллект для выполнения действий, которые максимально увеличивают их шансы на достижение поставленных целей. Такие машины можно назвать искусственным интеллектом.\n\nНекоторые из наиболее известных приложений искусственного интеллекта включают в себя передовые поисковые системы (например, Google Search, Bing, Яндекс); рекомендательные системы (используемые на YouTube, Amazon и Netflix); взаимодействие посредством человеческой речи (например, Google Assistant, Siri, Alexa, Алиса); автономные транспортные средства (например, Waymo); генеративные и творческие инструменты (например, ChatGPT, Apple Intelligence и искусство искусственного интеллекта); а также сверхчеловеческую игру и анализ в стратегических играх (например, шахматы и го). Однако многие приложения искусственного интеллекта не воспринимаются как искусственный интеллект: «Многие передовые разработки искусственного интеллекта проникли в общие приложения, часто не называясь искусственным интеллектом, потому что как только что-то становится достаточно полезным и достаточно распространённым, его больше не называют искусственным интеллектом».\nАлан Тьюринг был первым человеком, который провёл масштабные исследования в области, которую он назвал машинным интеллектом. Искусственный интеллект был основан как академическая дисциплина в 1956 году теми, кого сейчас считают отцами-основателями искусственного интеллекта: Джоном Маккарти, Марвином Мински, Натаниэлем Рочестером и Кло"
+  },
+  {
+    "source": "wikipedia",
+    "title": "Что такое Браузер?",
+    "text": "Бра́узер, обозреватель, веб-обозреватель или веб-браузер (от англ. web browser, МФА: [wɛb ˈbraʊ.zə(ɹ), -zɚ]; устар. бро́узер) — прикладное программное обеспечение для просмотра страниц, содержания веб-документов, компьютерных файлов и их каталогов; управления веб-приложениями; а также для решения других задач. В глобальной сети браузеры используют для запроса, обработки, манипулирования и отображения содержания веб-сайтов. Многие современные браузеры также могут использоваться для непосредственного просмотра содержания файлов многих графических форматов (GIF, JPEG, PNG, SVG), аудио- и видеоформатов (MP3, MPEG), текстовых форматов (PDF, DjVu) и других файлов.\nДля каждой страны есть свои серверы, к которым подключается браузер.\nФункциональные возможности браузеров постоянно расширяются и улучшаются благодаря конкуренции между их разработчиками и высоким темпам развития и внедрения информационных технологий. Несмотря на то, что браузеры разных изготовителей базируются на разных технологических решениях, большинство современных браузеров придерживается международных стандартов и рекомендаций W3C в области обработки и отображения данных. Стандартизация позволяет добиться предсказуемости в визуальном представлении информации конечному пользователю независимо от технологии, которая использована для её отображения в браузере. Со времени начала применения браузеров во Всемирной паутине в начале 1990-х годов из просто��о средства просмотра текстовой информации браузер превратился в комплексное прикладное программное обеспечение для обработки данных и обеспечения интерфейса между информационными ресурсами и человеком. В последние годы многие разработчики браузеров сосредоточили свои усилия на повышении удобства пользовательского интерфейса браузеров для их использования в аппаратных устройствах, в которых применяются сенсорные экраны.\nБраузеры распространяются, как правило, бесплатно. Потребителям браузер может быть поставлен в форме самостоятельного (автономного) приложения ил"
+  },
+  {
+    "source": "wikipedia",
+    "title": "Что такое Ubuntu?",
+    "text": "Ubuntu (МФА [ʊˈbʊntuː]; от зулу ubuntu — «человечность»; «Убу́нту») — дистрибутив GNU/Linux, основанный на Debian GNU/Linux. Основным разработчиком и спонсором является компания Canonical. В настоящее время проект активно развивается и поддерживается свободным сообществом."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Windows",
+    "text": "Microsoft Windows (с англ. — «окна», сокр. Win) — группа семейств коммерческих проприетарных операционных систем корпорации Microsoft, ориентированных на управление с помощью графического интерфейса."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Zorin OS",
+    "text": "Zorin OS — дистрибутив Linux для персональных, учебных и офисных компьютеров, создаваемый с целью облегчить переход с Windows в Linux-подобную операционную систему. В Zorin OS используются приложения, которые могут изменить внешний вид операционной системы так, чтобы она напоминала Windows XP/7/10/11, macOS, Linux Ubuntu. Последняя версия Zorin OS 17 использует кодовую базу Ubuntu 22.04."
+  },
+  {
+    "source": "wikipedia",
+    "title": "Видеоигра",
+    "text": "Видеоигра́ (англ. video game) — игра с использованием изображений, сгенерированных электронной аппаратурой. Другими словами, видеоигра является электронной игрой, которая базируется на взаимодействии человека и устройства посредством визуального и  физического интерфейса, например телевизора, монитора компьютера или телефона.\nДругие определения термина:\n\nкомпьютерная игра, воспроизводимая на экране телевизора с помощью игровой приставки.\nвидеоигровое устройство (предметом которого является видеоигра) — бытовой радиоэлектронный аппарат, предназначенный для отображения игровой информации на экране телевизионного приёмника или бытового видеомонитора.\nВместе с тем в настоящее время термины компьютерная игра и видеоигра могут употребляться как синонимы и взаимозаменяться."
+  }
+]

knowledge/knowledge_base.json

@@ -0,0 +1,26 @@
+[
+  {
+    "question": "Как включить JavaScript в моём браузере?",
+    "answer": "В настройках браузера перейди в 'Приватность и безопасность', найди 'Скрипты' и включи JavaScript."
+  },
+  {
+    "question": "Как перейти в TTY3 в Debian?",
+    "answer": "Нажми Ctrl+Alt+F3. Чтобы вернуться в графику — Ctrl+Alt+F1 или F2."
+  },
+  {
+    "question": "Как настроить автологин в TTY3?",
+    "answer": "Создай /etc/systemd/system/getty@tty3.service.d/override.conf и добавь ExecStart с --autologin."
+  },
+  {
+    "question": "Что такое Newton Bot?",
+    "answer": "Newton Bot — это локальный ИИ-ассистент на базе TinyLlama, созданный для помощи в разработке, настройке Debian, браузера и KDE."
+  },
+  {
+    "question": "Кто такой Kolyadual?",
+    "answer": "Kolyadual (настоящее имя - Николай Алёхин) — человек, разаботчик таких проектов как операционная система Runget, игровой центр Dual Gaming Centre, Andryemu, Newton bot и других проектов."
+  },
+  {
+    "question": "Привет!",
+    "answer": "Привет! Я - Newton bot. Чем могу помочь?"
+  }
+]

model/.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

model/config.json

@@ -0,0 +1,26 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "hidden_act": "silu",
+  "hidden_size": 2048,
+  "initializer_range": 0.02,
+  "intermediate_size": 5632,
+  "max_position_embeddings": 2048,
+  "model_type": "llama",
+  "num_attention_heads": 32,
+  "num_hidden_layers": 22,
+  "num_key_value_heads": 4,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-05,
+  "rope_scaling": null,
+  "rope_theta": 10000.0,
+  "tie_word_embeddings": false,
+  "torch_dtype": "bfloat16",
+  "transformers_version": "4.35.0",
+  "use_cache": true,
+  "vocab_size": 32000
+}

model/eval_results.json

@@ -0,0 +1,16 @@
+{
+    "epoch": 3.0,
+    "eval_logits/chosen": -2.707406759262085,
+    "eval_logits/rejected": -2.656524419784546,
+    "eval_logps/chosen": -370.1297607421875,
+    "eval_logps/rejected": -296.0738525390625,
+    "eval_loss": 0.513750433921814,
+    "eval_rewards/accuracies": 0.738095223903656,
+    "eval_rewards/chosen": -0.02744222804903984,
+    "eval_rewards/margins": 1.0087225437164307,
+    "eval_rewards/rejected": -1.03616464138031,
+    "eval_runtime": 93.5908,
+    "eval_samples": 2000,
+    "eval_samples_per_second": 21.37,
+    "eval_steps_per_second": 0.673
+}

model/generation_config.json

@@ -0,0 +1,7 @@
+{
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "max_length": 2048,
+  "pad_token_id": 0,
+  "transformers_version": "4.35.0"
+}

model/knowledge_base.json

@@ -0,0 +1,34 @@
+[
+  {
+    "question": "Как включить JavaScript в моём браузере?",
+    "answer": "В настройках браузера перейди в 'Приватность и безопасность', найди 'Скрипты' и включи JavaScript."
+  },
+  {
+    "question": "Как перейти в TTY3 в Debian?",
+    "answer": "Нажми Ctrl+Alt+F3. Чтобы вернуться в графику — Ctrl+Alt+F1 или F2."
+  },
+  {
+    "question": "Как настроить автологин в TTY3?",
+    "answer": "Создай /etc/systemd/system/getty@tty3.service.d/override.conf и добавь ExecStart с --autologin."
+  },
+  {
+    "question": "Что такое Newton Bot?",
+    "answer": "Newton Bot — это локальный ИИ-ассистент на базе TinyLlama, созданный для помощи в разработке, настройке Debian, браузера и KDE."
+  },
+  {
+    "question": "Кто такой Kolyadual?",
+    "answer": "Kolyadual (настоящее имя - Николай Алёхин) — человек, разаботчик таких проектов как операционная система Runget, игровой центр Dual Gaming Centre, Andryemu, Newton bot и других проектов."
+  },
+  {
+    "question": "Привет!",
+    "answer": "Привет! Я - Newton bot. Чем могу помочь?"
+  },
+  {
+    "question": "Доброго времени суток",
+    "answer": "Здравствуйте, чем могу помочь?"
+  },
+  {
+    "question": "Привет бро",
+    "answer": "Здарова бро! Чем могу быть полезен?"
+  }
+]

model/lm_head.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f73f08bad592a590f8829961cb8685658f4b8b765a041454bbff21d10e799d6b
+size 262144128

model/model.embed_tokens.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e8a1d370422b0dc1518c0b25a1931e88a34750eb49b340ee1e10aeb2358f58c0
+size 262144128

model/model.layers.0.input_layernorm.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:45f7a13bab5aa1d883d857776a819482008f86b996339a3089878622d06184e2
+size 8320

model/model.layers.0.mlp.down_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:71dca8a2525f61b2e5bbcad95d7a07da0c27d7ac9b0c648878ab95e8538e026b
+size 46137472

model/model.layers.0.mlp.gate_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ece882f6b1cbee256def124db04aa42ace25ff9b313fff6ac103adbc41acf658
+size 46137472

model/model.layers.0.mlp.up_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c61e8fa162174d534c7c14bb5788c2a2b261ef764b5b8945f782db663d90ca0e
+size 46137472

model/model.layers.0.post_attention_layernorm.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2e25693fc859afc963eebc31a7422c7f599b1679c02a2adf52f4f89aa7564f24
+size 8320

model/model.layers.0.self_attn.k_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d2065b7ec3921992622f68b9284a8e1e3bc8c24a2b04f1dd0bcc961c1f9dd44b
+size 2097280

model/model.layers.0.self_attn.o_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:043f7a4007632387d1e0bec969b96d168d4910c202d7a548b41a97ce0a2282f1
+size 16777344

model/model.layers.0.self_attn.q_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:69f16c900a4974505b11009106fbb7e2cd8e633bac2be6dfcab05a71da002a8d
+size 16777344

model/model.layers.0.self_attn.v_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:393d34c7add98ea0a8e0c16c5dfdac44283cb6ca2a598d20b4b4f46b12a15c5a
+size 2097280

model/model.layers.1.input_layernorm.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:228911e00131141fc8cd345ab0ef83d723c6814e268211cd40c53853816318d5
+size 8320

model/model.layers.1.mlp.down_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dd28d6fbc332605a14861e75d6e7ef906e8908a1847bbe161fe1c3f4558ef952
+size 46137472

model/model.layers.1.mlp.gate_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6d27fab2182cc45d7977df284012413c1f6182cb2cf060a93e11eefc502240b5
+size 46137472

model/model.layers.1.mlp.up_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:af2ea3479191bd2769d7c2754e388e6cf6d6cf83d42a7f52a6085ee38a02699d
+size 46137472

model/model.layers.1.post_attention_layernorm.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:674991c56c3963ee52d7705d0b947dab081b91bda5284bf5570711f3da3ca83f
+size 8320

model/model.layers.1.self_attn.k_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a6d5cfc710bb7433a0e909490d8bd3ba14bb6f26f59f49e0caee6633fe0c4d4a
+size 2097280

model/model.layers.1.self_attn.o_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b619262f0ce1614b9bb6c033c2333a32ab109394074ebfdd600adfe45084b484
+size 16777344

model/model.layers.1.self_attn.q_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3f6c061cc55db279d3b0459746108933881fbf384886bba89038f2f040b22171
+size 16777344

model/model.layers.1.self_attn.v_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5fe64d1ccfcf09a86f397ac2c208d8223603af947628280169ace45828069e21
+size 2097280

model/model.layers.10.input_layernorm.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:38288749eb92a7660a84931395988fd9d518eb9f9980a45bd09f777ff405d155
+size 8320

model/model.layers.10.mlp.down_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b53ff42cf0a90428be0f8e530aa5fb07c61d28ecdfa1e935449a51b6580f7be5
+size 46137472

model/model.layers.10.mlp.gate_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:63d49b06a6ca529e8f6309ae2626649a71e0772594b7f95ec8b675897049931d
+size 46137472

model/model.layers.10.mlp.up_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d9c0721b6102a94067c6d7ef0a61a6b5616c31b97c3067bb5e276dcea3c13be5
+size 46137472

model/model.layers.10.post_attention_layernorm.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2d2c49050f38041f1c1ae9c293078f5c76a20d468a627f1ac3498e4c860b419b
+size 8320

model/model.layers.10.self_attn.k_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:959b2d62dd1747bc5237f21560c6049a500aefa7eff70f10d62fab48eeb49b01
+size 2097280

model/model.layers.10.self_attn.o_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e451f5612c47f3dd75cf18b10f45ad238c017570b0f1874f1edf58457630b633
+size 16777344

model/model.layers.10.self_attn.q_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3986a65d44e4a39880e18433bf79311dafe9e791c7a2e76bae4dd87122097d43
+size 16777344

model/model.layers.10.self_attn.v_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e6e83e45b57cbecc71fbd0e5709fe74f729a62f864825c7df7052d5642b980a9
+size 2097280

model/model.layers.11.input_layernorm.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:690ada56f2cd62bc42d057ac2bbcbd72cd43d6df4d072ce6e32299a6c28ea939
+size 8320

model/model.layers.11.mlp.down_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:01ed76fde3a03347b65d529bdcf32a7c0280e11b574649f3b65fa7d335b6530a
+size 46137472

model/model.layers.11.mlp.gate_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:34393ed27d7497da3cea3aa12fae3ffbf5873d824477c4dcb2c2f4e0280e8c54
+size 46137472

model/model.layers.11.mlp.up_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c09ec5d7e69742aad7b735b0cc8cb17e649bcf8f31ad56df580104ed63854cf0
+size 46137472

model/model.layers.11.post_attention_layernorm.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9a97b1e83ba2fbd99af508a6d370e1258f15f3cd300eeed2f63a901608a63226
+size 8320

model/model.layers.11.self_attn.k_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:da8b969e6f5fe6178bfaba7870ec07c0fc941c1dc084acfd6ca0009234237130
+size 2097280

model/model.layers.11.self_attn.o_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:33a29af52b80dfc8be8e4b5537053ce9e31b23b7f775f59f971535c729a43805
+size 16777344

model/model.layers.11.self_attn.q_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:998abe932825dbc49b25a7cffc11a0f1098b2aaf6753dc56d506b0957adc99fc
+size 16777344

model/model.layers.11.self_attn.v_proj.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:97ac4eca7e8b837acc6c0084d2c5677aaf736c4d945dcc9740347e0eb4572c85
+size 2097280

model/model.layers.12.input_layernorm.weight.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:57d0528ce7c6e1ddd459aabb99b3e4be07170e5061fafa1a406e77b4e040a469
+size 8320