{ "cells": [ { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Загружено 167 записей\n" ] }, { "data": { "text/html": [ "

\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "

	message_id	original_text	strict_question	real_question
0	130738	Итальянский суд принял решение экстрадировать ...	Какое решение приняло итальянское судопроизвод...	Что там с Кузнецовым — его в Германию выдадут ...
1	129361	Пять пассажиров автобуса №793 пострадали в ДТП...	Сколько пассажиров автобуса №793 пострадали в ...	Сколько человек в автобусе 793 пострадали, ког...
2	133468	Владимир Путин утвердил концепцию государствен...	Кто утвердил концепцию государственной миграци...	Кто там утвердил новую миграционную концепцию ...
3	123139	Генпрокуратура и Минюст подали в Верховный суд...	Какое юридическое действие предприняли Генерал...	Что Генпрокуратура и Минюст сделали с сатанист...
4	129894	Обломки дрона обнаружили польские пограничники...	Где и кем был обнаружен непилотируемый летател...	Что там польские пограничники нашли рядом с Бе...

\n", "

" ], "text/plain": [ " message_id original_text \\\n", "0 130738 Итальянский суд принял решение экстрадировать ... \n", "1 129361 Пять пассажиров автобуса №793 пострадали в ДТП... \n", "2 133468 Владимир Путин утвердил концепцию государствен... \n", "3 123139 Генпрокуратура и Минюст подали в Верховный суд... \n", "4 129894 Обломки дрона обнаружили польские пограничники... \n", "\n", " strict_question \\\n", "0 Какое решение приняло итальянское судопроизвод... \n", "1 Сколько пассажиров автобуса №793 пострадали в ... \n", "2 Кто утвердил концепцию государственной миграци... \n", "3 Какое юридическое действие предприняли Генерал... \n", "4 Где и кем был обнаружен непилотируемый летател... \n", "\n", " real_question \n", "0 Что там с Кузнецовым — его в Германию выдадут ... \n", "1 Сколько человек в автобусе 793 пострадали, ког... \n", "2 Кто там утвердил новую миграционную концепцию ... \n", "3 Что Генпрокуратура и Минюст сделали с сатанист... \n", "4 Что там польские пограничники нашли рядом с Бе... " ] }, "execution_count": 5, "metadata": {}, "output_type": "execute_result" } ], "source": [ "from src.evaluation import QAEvaluator\n", "from dotenv import load_dotenv\n", "import pandas as pd\n", "import os\n", "\n", "load_dotenv()\n", "\n", "qa_df = pd.read_csv(\"generated_qa.csv\")\n", "\n", "qa_df.head()" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [ "evaluator = QAEvaluator(\n", " df=qa_df,\n", " text_column=\"original_text\",\n", " temperature=0.0,\n", " api_key=os.getenv(\"OPENROUTER_API_KEY\")\n", ")\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Всего батчей: 34\n" ] } ], "source": [ "batch_size = 5\n", "question_iterator = evaluator.get_questions(\n", " question_column=\"strict_question\", # или \"real_question\"\n", " batch_size=batch_size\n", ")\n", "\n", "print(f\"Всего батчей: {len(question_iterator)}\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Демонстрация оценки ответов\n", "\n", "Ниже показан пример оценки ответов от RAG системы.\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Демо-вопросов: 5\n", "Демо-ответов: 5\n" ] } ], "source": [ "N_DEMO = 5\n", "\n", "evaluator_demo = QAEvaluator(\n", " df=qa_df.head(N_DEMO),\n", " text_column=\"original_text\",\n", " api_key=os.getenv(\"OPENROUTER_API_KEY\")\n", ")\n", "\n", "question_iterator = evaluator_demo.get_questions(\n", " question_column=\"strict_question\",\n", " batch_size=N_DEMO\n", ")\n", "\n", "demo_questions = next(iter(question_iterator))\n", "\n", "demo_answers = qa_df[\"original_text\"].head(N_DEMO).tolist()\n", "\n", "print(f\"Демо-вопросов: {len(demo_questions)}\")\n", "print(f\"Демо-ответов: {len(demo_answers)}\")" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "Оценка ответов: 100%|██████████| 5/5 [00:05<00:00, 1.07s/it]\n" ] } ], "source": [ "_ = evaluator_demo.get_questions(\n", " question_column=\"strict_question\",\n", " batch_size=N_DEMO\n", ")\n", "\n", "metrics = evaluator_demo.evaluate_answers(demo_answers, show_progress=True)" ] }, { "cell_type": "code", "execution_count": 13, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "['Итальянский суд принял решение экстрадировать в Германию задержанного по подозрению в подрыве «Северных потоков» Сергея Кузнецова, пишет Reuters.\\n\\n🐚 Следить за новостями РБК в Telegram',\n", " 'Пять пассажиров автобуса №793 пострадали в ДТП с участием автомобиля, которое произошло на пересечении Мичуринского проспекта и проезда Олимпийской Деревни в Москве, сообщил «Мосгортранс». \\n\\nПо предварительной информации, водитель автомобиля внезапно перестроился в полосу движения автобуса, из-за чего произошло столкновение. Всем пострадавшим оказывается медицинская помощь.\\n\\n🐚 Другие видео этого дня — в телеграм-канале РБК',\n", " 'Владимир Путин утвердил концепцию государственной миграционной политики России на 2026-2030 годы.\\n\\nРезультатом политики должно стать снижение числа нелегальных мигрантов и преступлений.\\n\\n🐚 Следить за новостями РБК в Telegram',\n", " 'Генпрокуратура и Минюст подали в Верховный суд иск с требованием признать экстремистской организацией «Международное движение сатанизма» и запретить его деятельность на территории России, передает РАПСИ. \\n\\nДепутаты, военные, священники и общественники в России регулярно заявляют о необходимости бороться с «сатанизмом». Круглый стол на эту тему, например, проходил 8 апреля в Госдуме. Депутат от «Справедливой России — За правду» актер Николай Бурляев тогда рассказал, что в Госдуму поступают обращения граждан, которые обеспокоены деструктивными явлениями в книгах, фильмах, аниме, а также сообщениями о «сатанинских секс-оргиях» в Москве и других городах.\\n\\nФото: Getty',\n", " 'Обломки дрона обнаружили польские пограничники в деревне возле границы с Белоруссией, сообщает Reuters.\\n\\n«Этот дрон рухнул у границы, примерно в 300 метрах от пограничного перехода, в деревне Полатыче. Дрон не вооружен, на корпусе имеются надписи на кириллице», — рассказала Агнешка Кепка из прокуратуры города Люблин на пресс-конференции.\\n\\nВоенные полицейские опрашивают свидетелей и проверяют видеозаписи, чтобы установить траекторию полета дрона, добавила она. Никто не пострадал, подчеркнули в полиции.\\n\\nФото: Kuba Stezycki / Reuters\\n\\n🐚 Следить за новостями РБК в Telegram']" ] }, "execution_count": 13, "metadata": {}, "output_type": "execute_result" } ], "source": [ "demo_answers" ] }, { "cell_type": "code", "execution_count": 12, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "{'total_questions': 5,\n", " 'valid_answers': 4,\n", " 'invalid_answers': 1,\n", " 'accuracy': 0.8,\n", " 'avg_relevance': 0.9,\n", " 'avg_completeness': 0.9,\n", " 'avg_factual_accuracy': 1.0,\n", " 'combined_score': 0.9333333333333332,\n", " 'detailed_results': [{'index': 0,\n", " 'question': 'Какое решение приняло итальянское судопроизводство в отношении экстрадиции Сергея Кузнецова в связи с подозрениями в причастности к подрыву газопроводов «Северные потоки»?',\n", " 'answer': 'Итальянский суд принял решение экстрадировать в Германию задержанного по подозрению в подрыве «Северных потоков» Сергея Кузнецова, пишет Reuters.\\n\\n🐚 Следить за новостями РБК в Telegram',\n", " 'is_valid': True,\n", " 'relevance_score': 1.0,\n", " 'completeness_score': 1.0,\n", " 'factual_accuracy_score': 1.0},\n", " {'index': 1,\n", " 'question': 'Сколько пассажиров автобуса №793 пострадали в дорожно-транспортном происшествии на пересечении Мичуринского проспекта и проезда Олимпийской Деревни в Москве, вызванном внезапным перестроением автомобиля?',\n", " 'answer': 'Пять пассажиров автобуса №793 пострадали в ДТП с участием автомобиля, которое произошло на пересечении Мичуринского проспекта и проезда Олимпийской Деревни в Москве, сообщил «Мосгортранс». \\n\\nПо предварительной информации, водитель автомобиля внезапно перестроился в полосу движения автобуса, из-за чего произошло столкновение. Всем пострадавшим оказывается медицинская помощь.\\n\\n🐚 Другие видео этого дня — в телеграм-канале РБК',\n", " 'is_valid': True,\n", " 'relevance_score': 1.0,\n", " 'completeness_score': 1.0,\n", " 'factual_accuracy_score': 1.0},\n", " {'index': 2,\n", " 'question': 'Кто утвердил концепцию государственной миграционной политики Российской Федерации на 2026–2030 годы с целью снижения числа нелегальных мигрантов и преступлений?',\n", " 'answer': 'Владимир Путин утвердил концепцию государственной миграционной политики России на 2026-2030 годы.\\n\\nРезультатом политики должно стать снижение числа нелегальных мигрантов и преступлений.\\n\\n🐚 Следить за новостями РБК в Telegram',\n", " 'is_valid': True,\n", " 'relevance_score': 1.0,\n", " 'completeness_score': 1.0,\n", " 'factual_accuracy_score': 1.0},\n", " {'index': 3,\n", " 'question': 'Какое юридическое действие предприняли Генеральная прокуратура Российской Федерации и Министерство юстиции Российской Федерации в отношении «Международного движения сатанизма»?',\n", " 'answer': 'Генпрокуратура и Минюст подали в Верховный суд иск с требованием признать экстремистской организацией «Международное движение сатанизма» и запретить его деятельность на территории России, передает РАПСИ. \\n\\nДепутаты, военные, священники и общественники в России регулярно заявляют о необходимости бороться с «сатанизмом». Круглый стол на эту тему, например, проходил 8 апреля в Госдуме. Депутат от «Справедливой России — За правду» актер Николай Бурляев тогда рассказал, что в Госдуму поступают обращения граждан, которые обеспокоены деструктивными явлениями в книгах, фильмах, аниме, а также сообщениями о «сатанинских секс-оргиях» в Москве и других городах.\\n\\nФото: Getty',\n", " 'is_valid': False,\n", " 'relevance_score': 0.5,\n", " 'completeness_score': 0.5,\n", " 'factual_accuracy_score': 1.0},\n", " {'index': 4,\n", " 'question': 'Где и кем был обнаружен непилотируемый летательный аппарат без вооружения с надписями на кириллице, и в каком именно месте произошло это событие?',\n", " 'answer': 'Обломки дрона обнаружили польские пограничники в деревне возле границы с Белоруссией, сообщает Reuters.\\n\\n«Этот дрон рухнул у границы, примерно в 300 метрах от пограничного перехода, в деревне Полатыче. Дрон не вооружен, на корпусе имеются надписи на кириллице», — рассказала Агнешка Кепка из прокуратуры города Люблин на пресс-конференции.\\n\\nВоенные полицейские опрашивают свидетелей и проверяют видеозаписи, чтобы установить траекторию полета дрона, добавила она. Никто не пострадал, подчеркнули в полиции.\\n\\nФото: Kuba Stezycki / Reuters\\n\\n🐚 Следить за новостями РБК в Telegram',\n", " 'is_valid': True,\n", " 'relevance_score': 1.0,\n", " 'completeness_score': 1.0,\n", " 'factual_accuracy_score': 1.0}]}" ] }, "execution_count": 12, "metadata": {}, "output_type": "execute_result" } ], "source": [ "metrics" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [ { "data": { "text/html": [ "

\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "

	index	question	answer	is_valid	relevance_score	completeness_score	factual_accuracy_score
0	0	Какое решение приняло итальянское судопроизвод...	Итальянский суд принял решение экстрадировать ...	True	1.0	1.0	1.0
1	1	Сколько пассажиров автобуса №793 пострадали в ...	Пять пассажиров автобуса №793 пострадали в ДТП...	True	1.0	1.0	1.0
2	2	Кто утвердил концепцию государственной миграци...	Владимир Путин утвердил концепцию государствен...	True	1.0	1.0	1.0
3	3	Какое юридическое действие предприняли Генерал...	Генпрокуратура и Минюст подали в Верховный суд...	False	0.5	0.5	1.0
4	4	Где и кем был обнаружен непилотируемый летател...	Обломки дрона обнаружили польские пограничники...	True	1.0	1.0	1.0

\n", "

" ], "text/plain": [ " index question \\\n", "0 0 Какое решение приняло итальянское судопроизвод... \n", "1 1 Сколько пассажиров автобуса №793 пострадали в ... \n", "2 2 Кто утвердил концепцию государственной миграци... \n", "3 3 Какое юридическое действие предприняли Генерал... \n", "4 4 Где и кем был обнаружен непилотируемый летател... \n", "\n", " answer is_valid \\\n", "0 Итальянский суд принял решение экстрадировать ... True \n", "1 Пять пассажиров автобуса №793 пострадали в ДТП... True \n", "2 Владимир Путин утвердил концепцию государствен... True \n", "3 Генпрокуратура и Минюст подали в Верховный суд... False \n", "4 Обломки дрона обнаружили польские пограничники... True \n", "\n", " relevance_score completeness_score factual_accuracy_score \n", "0 1.0 1.0 1.0 \n", "1 1.0 1.0 1.0 \n", "2 1.0 1.0 1.0 \n", "3 0.5 0.5 1.0 \n", "4 1.0 1.0 1.0 " ] }, "execution_count": 14, "metadata": {}, "output_type": "execute_result" } ], "source": [ "results_df = evaluator_demo.get_detailed_results_df(metrics)\n", "results_df" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [] } ], "metadata": { "kernelspec": { "display_name": "venv", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.13.3" } }, "nbformat": 4, "nbformat_minor": 2 }