initial commit with the files

README.md

@@ -1,8 +1,8 @@
 ---
-title: RAG AIEXP 01
-emoji: 🌍
-colorFrom: gray
-colorTo: blue
+title: RAG AIEXP 0
+emoji: 🔥
+colorFrom: blue
+colorTo: gray
 sdk: gradio
 sdk_version: 5.42.0
 app_file: app.py

app.py

@@ -0,0 +1,455 @@
+import gradio as gr
+from huggingface_hub import hf_hub_download, hf_hub_url
+import faiss
+import pandas as pd
+import os
+import json
+import numpy as np
+from pathlib import Path
+import fitz  # PyMuPDF
+from llama_index.core import Document, VectorStoreIndex, Settings
+from llama_index.embeddings.huggingface import HuggingFaceEmbedding
+from llama_index.llms.google_genai import GoogleGenAI
+from llama_index.core.query_engine import RetrieverQueryEngine
+from llama_index.core.retrievers import VectorIndexRetriever
+from llama_index.core.response_synthesizers import get_response_synthesizer, ResponseMode
+from llama_index.core.prompts import PromptTemplate
+import time
+import sys
+from config import *
+
+query_engine = None
+chunks_df = None
+documents_df = None
+
+def log_message(message):
+    print(message, flush=True)
+    sys.stdout.flush()
+
+def load_documents_info():
+    global documents_df
+    try:
+        docs_path = os.path.join(download_dir, extracted_files)
+        if os.path.exists(docs_path):
+            documents_df = pd.read_csv(docs_path)
+            return documents_df
+        else:
+            documents_df = pd.DataFrame(columns=['document', 'file_name', 'file_link', 'file_size', 'total_pages', 'total_words', 'total_tokens'])
+            return documents_df
+    except Exception as e:
+        log_message(f"Error loading documents: {str(e)}")
+        return pd.DataFrame(columns=['document', 'file_name', 'file_link', 'file_size', 'total_pages', 'total_words', 'total_tokens'])
+
+def extract_text_from_pdf(file_path):
+    doc = fitz.open(file_path)
+    text = ""
+    for page in doc:
+        text += page.get_text()
+    doc.close()
+    return text
+
+def extract_text_from_txt(file_path):
+    with open(file_path, 'r', encoding='utf-8') as file:
+        return file.read()
+
+def extract_text_from_csv(file_path):
+    df = pd.read_csv(file_path)
+    return df.to_string()
+
+def extract_text_from_json(file_path):
+    with open(file_path, 'r', encoding='utf-8') as file:
+        data = json.load(file)
+    return json.dumps(data, indent=2, ensure_ascii=False)
+
+def chunk_text(text, chunk_size=CHUNK_SIZE, chunk_overlap=CHUNK_OVERLAP):
+    chunks = []
+    start = 0
+    while start < len(text):
+        end = start + chunk_size
+        chunk = text[start:end]
+        chunks.append(chunk)
+        start = end - chunk_overlap
+    return chunks
+
+def process_uploaded_file(file_path, file_name):
+    try:
+        file_extension = Path(file_path).suffix.lower()
+        
+        if file_extension == '.pdf':
+            text = extract_text_from_pdf(file_path)
+        elif file_extension == '.txt':
+            text = extract_text_from_txt(file_path)
+        elif file_extension == '.csv':
+            text = extract_text_from_csv(file_path)
+        elif file_extension == '.json':
+            text = extract_text_from_json(file_path)
+        else:
+            return None, "Unsupported file type"
+        
+        file_size = os.path.getsize(file_path)
+        word_count = len(text.split())
+        token_count = len(text) // 4  # rough token estimation
+        
+        chunks = chunk_text(text)
+        
+        return {
+            'document': file_name,
+            'file_name': file_name,
+            'file_size': file_size,
+            'total_words': word_count,
+            'total_tokens': token_count,
+            'extracted_text': text,
+            'chunks': chunks
+        }, None
+        
+    except Exception as e:
+        return None, str(e)
+
+def add_to_vector_index(new_chunks, file_info):
+    global query_engine, chunks_df, documents_df
+    
+    try:
+        embed_model = HuggingFaceEmbedding(model_name=EMBEDDING_MODEL)
+        
+        new_documents = []
+        new_chunk_data = []
+        
+        for i, chunk in enumerate(new_chunks):
+            doc_id = f"{file_info['file_name']}_{i}"
+            new_documents.append(Document(
+                text=chunk, 
+                metadata={
+                    "chunk_id": doc_id, 
+                    "document_id": file_info['file_name']
+                }
+            ))
+            new_chunk_data.append({
+                'chunk_id': doc_id,
+                'document_id': file_info['file_name'],
+                'text': chunk
+            })
+        
+        if chunks_df is not None:
+            new_chunks_df = pd.DataFrame(new_chunk_data)
+            chunks_df = pd.concat([chunks_df, new_chunks_df], ignore_index=True)
+        else:
+            chunks_df = pd.DataFrame(new_chunk_data)
+        
+        if documents_df is not None:
+            new_doc_info = pd.DataFrame([{
+                'document': file_info['document'],
+                'file_name': file_info['file_name'],
+                'file_size': file_info['file_size'],
+                'total_words': file_info['total_words'],
+                'total_tokens': file_info['total_tokens']
+            }])
+            documents_df = pd.concat([documents_df, new_doc_info], ignore_index=True)
+        
+        all_documents = [Document(text=str(row['text']), 
+                                metadata={"chunk_id": row['chunk_id'], "document_id": row['document_id']}) 
+                        for _, row in chunks_df.iterrows()]
+        
+        vector_index = VectorStoreIndex.from_documents(all_documents)
+        
+        retriever = VectorIndexRetriever(
+            index=vector_index, 
+            similarity_top_k=RETRIEVER_TOP_K,
+            similarity_cutoff=SIMILARITY_THRESHOLD
+        )
+        
+        custom_prompt_template = PromptTemplate(CUSTOM_PROMPT)
+        response_synthesizer = get_response_synthesizer(
+            response_mode=ResponseMode.TREE_SUMMARIZE,
+            text_qa_template=custom_prompt_template
+        )
+        
+        query_engine = RetrieverQueryEngine(
+            retriever=retriever,
+            response_synthesizer=response_synthesizer
+        )
+        
+        chunks_df.to_csv(os.path.join(download_dir, chunks_filename), index=False)
+        documents_df.to_csv(os.path.join(download_dir, extracted_files), index=False)
+        
+        return True, None
+        
+    except Exception as e:
+        return False, str(e)
+
+def upload_and_process_file(files):
+    if not files:
+        return "No files selected", get_documents_table()
+    
+    results = []
+    for file in files:
+        file_info, error = process_uploaded_file(file.name, os.path.basename(file.name))
+        
+        if error:
+            results.append(f"❌ {os.path.basename(file.name)}: {error}")
+            continue
+            
+        success, error = add_to_vector_index(file_info['chunks'], file_info)
+        
+        if success:
+            results.append(f"✅ {file_info['file_name']}: Successfully processed and added to database")
+        else:
+            results.append(f"❌ {file_info['file_name']}: Error adding to database - {error}")
+    
+    return "\n".join(results), get_documents_table()
+
+def get_documents_table():
+    global documents_df
+    if documents_df is None or documents_df.empty:
+        return "<div style='padding: 20px; text-align: center; color: #666;'>No documents uploaded yet</div>"
+    
+    html = "<div style='max-height: 500px; overflow-y: auto;'>"
+    html += "<table style='width: 100%; border-collapse: collapse; font-size: 14px;'>"
+    html += "<thead style='background-color: #f8f9fa; position: sticky; top: 0;'>"
+    html += "<tr style='border-bottom: 2px solid #dee2e6;'>"
+    html += "<th style='padding: 12px; text-align: left; border-right: 1px solid #dee2e6;'>File Name</th>"
+    html += "<th style='padding: 12px; text-align: center; border-right: 1px solid #dee2e6;'>Size (KB)</th>"
+    html += "<th style='padding: 12px; text-align: center; border-right: 1px solid #dee2e6;'>Words</th>"
+    html += "<th style='padding: 12px; text-align: center;'>Tokens</th>"
+    html += "</tr>"
+    html += "</thead>"
+    html += "<tbody>"
+    
+    for _, row in documents_df.iterrows():
+        html += "<tr style='border-bottom: 1px solid #dee2e6;'>"
+        html += f"<td style='padding: 8px; border-right: 1px solid #dee2e6;'>{row['file_name']}</td>"
+        html += f"<td style='padding: 8px; text-align: center; border-right: 1px solid #dee2e6;'>{row['file_size']/1024:.1f}</td>"
+        html += f"<td style='padding: 8px; text-align: center; border-right: 1px solid #dee2e6;'>{row['total_words']}</td>"
+        html += f"<td style='padding: 8px; text-align: center;'>{row['total_tokens']}</td>"
+        html += "</tr>"
+    
+    html += "</tbody></table></div>"
+    return html
+
+def initialize_models():
+    global query_engine, chunks_df, documents_df
+    
+    try:
+        log_message("🔄 Инициализация системы...")
+        os.makedirs(download_dir, exist_ok=True)
+        
+        documents_df = load_documents_info()
+        
+        try:
+            chunks_csv_path = hf_hub_download(
+                repo_id=REPO_ID,
+                filename=chunks_filename,
+                local_dir=download_dir,
+                repo_type="dataset",
+                token=HF_TOKEN
+            )
+            chunks_df = pd.read_csv(chunks_csv_path)
+        except:
+            log_message("📝 Создание пустой базы чанков...")
+            chunks_df = pd.DataFrame(columns=['chunk_id', 'document_id', 'text'])
+        
+        log_message("🤖 Настройка моделей...")
+        embed_model = HuggingFaceEmbedding(model_name=EMBEDDING_MODEL)
+        llm = GoogleGenAI(model="gemini-2.0-flash", api_key=GOOGLE_API_KEY)
+        
+        Settings.embed_model = embed_model
+        Settings.llm = llm
+        
+        if not chunks_df.empty:
+            log_message("📝 Создание документов...")
+            documents = [Document(text=str(row['text']), 
+                               metadata={"chunk_id": row.get('chunk_id', i), "document_id": row.get('document_id', 'unknown')}) 
+                        for i, (_, row) in enumerate(chunks_df.iterrows())]
+            
+            log_message("🔍 Построение векторного индекса...")
+            vector_index = VectorStoreIndex.from_documents(documents)
+            
+            retriever = VectorIndexRetriever(
+                index=vector_index, 
+                similarity_top_k=RETRIEVER_TOP_K,
+                similarity_cutoff=SIMILARITY_THRESHOLD
+            )
+            
+            custom_prompt_template = PromptTemplate(CUSTOM_PROMPT_NEW)
+            response_synthesizer = get_response_synthesizer(
+                response_mode=ResponseMode.TREE_SUMMARIZE,
+                text_qa_template=custom_prompt_template
+            )
+            
+            query_engine = RetrieverQueryEngine(
+                retriever=retriever,
+                response_synthesizer=response_synthesizer
+            )
+        
+        log_message("✅ Система успешно инициализирована!")
+        return True
+        
+    except Exception as e:
+        log_message(f"❌ Ошибка инициализации: {str(e)}")
+        return False
+
+def answer_question(question):
+    global query_engine
+    
+    if query_engine is None:
+        return "<div style='background-color: #e53e3e; color: white; padding: 20px; border-radius: 10px;'>❌ Система не инициализирована или база документов пуста</div>", ""
+    
+    try:
+        start_time = time.time()
+        
+        response = query_engine.query(question)
+        retrieved_nodes = query_engine.retriever.retrieve(question)
+        
+        end_time = time.time()
+        processing_time = end_time - start_time
+        
+        sources_html = generate_sources_html(retrieved_nodes)
+        
+        answer_with_time = f"""<div style='background-color: #2d3748; color: white; padding: 20px; border-radius: 10px; margin-bottom: 10px;'>
+        <h3 style='color: #63b3ed; margin-top: 0;'>📋 Ответ:</h3>
+        <div style='line-height: 1.6; font-size: 16px;'>{response.response}</div>
+        <div style='margin-top: 15px; padding-top: 10px; border-top: 1px solid #4a5568; font-size: 14px; color: #a0aec0;'>
+        ⏱️ Время обработки: {processing_time:.2f} сек
+        </div>
+        </div>"""
+        
+        return answer_with_time, sources_html
+        
+    except Exception as e:
+        error_msg = f"<div style='background-color: #e53e3e; color: white; padding: 20px; border-radius: 10px;'>❌ Ошибка обработки вопроса: {str(e)}</div>"
+        return error_msg, ""
+
+def generate_sources_html(nodes):
+    html = "<div style='background-color: #2d3748; color: white; padding: 20px; border-radius: 10px; max-height: 400px; overflow-y: auto;'>"
+    html += "<h3 style='color: #63b3ed; margin-top: 0;'>📚 Источники:</h3>"
+    
+    unique_docs = {}
+    for node in nodes:
+        metadata = node.metadata if hasattr(node, 'metadata') else {}
+        doc_id = metadata.get('document_id', 'unknown')
+        if doc_id not in unique_docs:
+            unique_docs[doc_id] = []
+        unique_docs[doc_id].append(node)
+    
+    for doc_id, doc_nodes in unique_docs.items():
+        html += f"<div style='margin-bottom: 15px; padding: 15px; border: 1px solid #4a5568; border-radius: 8px; background-color: #1a202c;'>"
+        html += f"<h4 style='margin: 0 0 10px 0; color: #63b3ed;'>📄 {doc_id}</h4>"
+        html += f"<p style='margin: 0; color: #a0aec0; font-size: 14px;'>Найдено релевантных фрагментов: {len(doc_nodes)}</p>"
+        html += "</div>"
+    
+    html += "</div>"
+    return html
+
+def create_demo_interface():
+    with gr.Blocks(title="AIEXP - AI Expert для нормативной документации", theme=gr.themes.Soft()) as demo:
+        
+        gr.Markdown("""
+        # AIEXP - Artificial Intelligence Expert
+        
+        ## Инструмент для работы с нормативной документацией
+        """)
+        
+        with gr.Tab("🔍 Поиск по документам"):
+            gr.Markdown("### Задайте вопрос по загруженной документации")
+            
+            with gr.Row():
+                with gr.Column(scale=3):
+                    question_input = gr.Textbox(
+                        label="Ваш вопрос к базе знаний",
+                        placeholder="Введите вопрос по документам...",
+                        lines=3
+                    )
+                    ask_btn = gr.Button("🔍 Найти ответ", variant="primary", size="lg")
+                    
+                    gr.Examples(
+                        examples=[
+                            "Какой стандарт устанавливает порядок признания протоколов испытаний продукции в области использования атомной энергии?",
+                            "Кто несет ответственность за организацию и проведение признания протоколов испытаний продукции?",
+                            "В каких случаях могут быть признаны протоколы испытаний, проведенные лабораториями, не включенными в перечисления?",
+                        ],
+                        inputs=question_input
+                    )
+            
+            with gr.Row():
+                with gr.Column(scale=2):
+                    answer_output = gr.HTML(
+                        label="",
+                        value="<div style='background-color: #2d3748; color: white; padding: 20px; border-radius: 10px; text-align: center;'>Здесь появится ответ на ваш вопрос...</div>",
+                    )
+                
+                with gr.Column(scale=1):
+                    sources_output = gr.HTML(
+                        label="",
+                        value="<div style='background-color: #2d3748; color: white; padding: 20px; border-radius: 10px; text-align: center;'>Здесь появятся источники...</div>",
+                    )
+            
+            ask_btn.click(
+                fn=answer_question,
+                inputs=[question_input],
+                outputs=[answer_output, sources_output]
+            )
+            
+            question_input.submit(
+                fn=answer_question,
+                inputs=[question_input],
+                outputs=[answer_output, sources_output]
+            )
+        
+        with gr.Tab("📚 Управление документами"):
+            gr.Markdown("### Загруженные документы и добавление новых файлов")
+            
+            with gr.Row():
+                with gr.Column(scale=2):
+                    documents_table = gr.HTML(
+                        label="Список загруженных документов",
+                        value=get_documents_table()
+                    )
+                    
+                    refresh_btn = gr.Button("🔄 Обновить список", variant="secondary")
+                
+                with gr.Column(scale=1):
+                    gr.Markdown("#### Загрузка новых документов")
+                    gr.Markdown("Поддерживаемые форматы: PDF, TXT, CSV, JSON")
+                    
+                    file_upload = gr.File(
+                        file_count="multiple",
+                        file_types=[".pdf", ".txt", ".csv", ".json"],
+                        label="Выберите файлы для загрузки"
+                    )
+                    
+                    upload_btn = gr.Button("📤 Загрузить и обработать", variant="primary")
+                    
+                    upload_status = gr.Textbox(
+                        label="Статус загрузки",
+                        lines=8,
+                        max_lines=10,
+                        interactive=False
+                    )
+            
+            upload_btn.click(
+                fn=upload_and_process_file,
+                inputs=[file_upload],
+                outputs=[upload_status, documents_table]
+            )
+            
+            refresh_btn.click(
+                fn=lambda: get_documents_table(),
+                outputs=[documents_table]
+            )
+    
+    return demo
+
+if __name__ == "__main__":
+    log_message("🚀 Запуск AIEXP - AI Expert для нормативной документации")
+    
+    if initialize_models():
+        log_message("🌟 Запуск веб-интерфейса...")
+        demo = create_demo_interface()
+        demo.launch(
+            server_name="0.0.0.0",
+            server_port=7860,
+            share=True,
+            debug=False
+        )
+    else:
+        log_message("❌ Невозможно запустить приложение из-за ошибки инициализации")
+        sys.exit(1)

config.py

@@ -0,0 +1,230 @@
+import os
+
+EMBEDDING_MODEL = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
+RETRIEVER_TOP_K = 25
+SIMILARITY_THRESHOLD = 0.7
+RAG_FILES_DIR = "rag_files"
+PROCESSED_DATA_FILE = "rag_files/processed_chunks.csv"
+
+REPO_ID = "MrSimple01/AIEXP_RAG_FILES"
+faiss_index_filename = "faiss_index.index"
+chunks_filename = "processed_chunks.csv"
+
+extracted_files = 'cleaned_extracted_tokens.csv'
+
+download_dir = "rag_files"
+HF_TOKEN = os.getenv('HF_TOKEN')
+GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')
+
+CHUNK_SIZE = 1024
+CHUNK_OVERLAP = 256
+
+
+CUSTOM_PROMPT = """
+You are a highly specialized Document Analysis Assistant (AIEXP). Your purpose is to provide precise, accurate, and contextually relevant answers by analyzing a set of normal regulatory documents (НД). Your responses must be entirely based on the provided context, without any external knowledge or assumptions.
+
+**Core Tasks:**
+Based on the user's query, perform one of the following tasks:
+* **Information Retrieval:** Find and present specific information.
+* **Summarization:** Provide a concise summary of a document or a section.
+* **Semantic Analysis:** Compare a provided text against the requirements of the ND.
+* **Action Planning:** Create a step-by-step plan based on ND requirements.
+
+**Strict Rules for Response Generation:**
+1. Source Attribution is Mandatory: Every answer must explicitly cite its source from the provided context. Use one of the following formats:
+   * For content from a specific section/subsection:
+     `Согласно разделу [X] и подразделу [X.X]: [Ваш ответ]`
+   * For content that is not part of a specific subsection (e.g., from a general section, table, or figure):
+     `Согласно [Название документа] - [Номер и наименование пункта/таблицы/изображения]: [Ваш ответ]`
+   * If the source chunk has metadata for both section and subsection, always include both.
+   * If the source chunk has only a section, use the format `Согласно разделу [X]: [Ваш ответ]`.
+2. No Hallucinations: If the requested information is not explicitly found within the provided context, you must state that the information is not available. **Do not** attempt to infer, guess, or create a response. The correct response in this case is:
+   `Информация по вашему запросу не была найдена в нормативной документации.`
+3. Use ND Language: When possible, use terminology and phrasing directly from the ND to maintain accuracy and fidelity to the source document.
+4. Prioritize Precision: When answering, provide the most specific and direct information possible, avoiding vague or overly broad summaries unless explicitly asked to summarize.
+
+**Context:**
+{context_str}
+
+**Question:**
+{query_str}
+
+**Answer:**
+"""
+
+
+CUSTOM_PROMPT_NEW = """
+Вы являетесь высокоспециализированным Ассистентом для анализа документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы на основе анализа нормативной документации (НД). Все ваши ответы должны основываться исключительно на предоставленном контексте без использования внешних знаний или предположений.
+
+ОБЯЗАТЕЛЬНАЯ ЗАДАЧА - ИЗВЛЕЧЕНИЕ СТРУКТУРНОЙ ИНФОРМАЦИИ:
+Для каждого ответа ОБЯЗАТЕЛЬНО определите и укажите:
+1. НОМЕР РАЗДЕЛА/ПОДРАЗДЕЛА/ПУНКТА (например: "3.1", "4.2.3", "Приложение А.1")
+2. НАЗВАНИЕ РАЗДЕЛА/ПОДРАЗДЕЛА/ПУНКТА (например: "Общие требования", "Процедура испытаний")
+3. НАЗВАНИЕ ДОКУМЕНТА-ИСТОЧНИКА
+4. ССЫЛКУ НА ДОКУМЕНТ (если доступна в метаданных)
+
+ФОРМАТ ОБЯЗАТЕЛЬНОГО УКАЗАНИЯ ИСТОЧНИКОВ:
+- **📍 Источник**: [Название документа]
+- **📄 Раздел**: [Номер] - [Название раздела/подраздела]
+- **🔗 Ссылка**: [ссылка на документ, если доступна]
+
+ИНСТРУКЦИИ ПО ИЗВЛЕЧЕНИЮ СТРУКТУРНОЙ ИНФОРМАЦИИ:
+1. Ищите в тексте паттерны нумерации: "1.", "1.1.", "3.2.4.", "Приложение А", "Таблица 1", "Рисунок 2"
+2. Находите заголовки разделов после номеров (обычно выделены или идут сразу после номера)
+3. Если номер раздела не найден, ищите контекстные указания: "в данном разделе", "настоящий пункт"
+4. При отсутствии явной нумерации указывайте: "Раздел не определен"
+
+ОПРЕДЕЛЕНИЕ ТИПА ЗАДАЧИ:
+Проанализируйте запрос пользователя и определите тип задачи:
+
+1. КРАТКОЕ САММАРИ (ключевые слова: "кратко", "суммировать", "резюме", "основные моменты", "в двух словах"):
+   - Предоставьте структурированное резюме запрашиваемого раздела/пункта
+   - Выделите ключевые требования, процедуры или положения
+   - Используйте нумерованный список для лучшей читаемости
+   - Сохраняйте терминологию НД
+
+2. ПОИСК ДОКУМЕНТА И ПУНКТА (ключевые слова: "найти", "где", "какой документ", "в каком разделе", "ссылка"):
+   - Укажите конкретный документ и его структурное расположение
+   - Предоставьте точные номера разделов/подразделов/пунктов с их названиями
+   - Процитируйте релевантные фрагменты
+   - Если найдено несколько документов, перечислите все с указанием специфики каждого
+
+3. ПРОВЕРКА КОРРЕКТНОСТИ (ключевые слова: "правильно ли", "соответствует ли", "проверить", "корректно", "нарушение"):
+   - Сопоставьте предоставленную информацию с требованиями НД
+   - Четко укажите: "СООТВЕТСТВУЕТ" или "НЕ СООТВЕТСТВУЕТ"
+   - Перечислите конкретные требования НД с указанием разделов
+   - Укажите выявленные расхождения или подтвердите соответствие
+   - Процитируйте релевантные пункты НД с их номерами и названиями
+
+4. ПЛАН ДЕЙСТВИЙ (ключевые слова: "план", "алгоритм", "последовательность", "как действовать", "пошагово"):
+   - Создайте пронумерованный пошаговый план
+   - Каждый шаг должен содержать ссылку на соответствующий пункт НД с номером и названием
+   - Укажите необходимые документы или формы
+   - Добавьте временные рамки, если они указаны в НД
+   - Выделите критические требования или ограничения
+
+ПРАВИЛА ФОРМИРОВАНИЯ ОТВЕТОВ:
+
+1. ОБЯЗАТЕЛЬНОЕ УКАЗАНИЕ ИСТОЧНИКОВ С СТРУКТУРНОЙ ИНФОРМАЦИЕЙ:
+   Начинайте каждый ответ с блока источников в формате:
+   
+   **📍 Источник**: [Название документа]
+   **📄 Раздел**: [Номер] - [Название раздела/подраздела]  
+   **🔗 Ссылка**: [ссылка, если доступна]
+   
+   Затем продолжайте основной ответ.
+
+2. В ТЕКСТЕ ОТВЕТА используйте конкретные ссылки:
+   - "Согласно пункту 3.1 'Общие требования': [Ваш ответ]"
+   - "В разделе 4.2 'Процедура испытаний' указано: [Ваш ответ]"
+   - "Приложение А.1 'Формы документов' содержит: [Ваш ответ]"
+
+3. СТРОГОЕ СЛЕДОВАНИЕ КОНТЕКСТУ:
+   - Если информация не найдена: "Информация по вашему запросу не была найдена в нормативной документации."
+   - Если структурная информация не определена: "**📄 Раздел**: Не определен в предоставленном контексте"
+   - Не делайте предположений или выводов за пределами предоставленного контекста
+
+4. ИСПОЛЬЗОВАНИЕ ТЕРМИНОЛОГИИ НД:
+   - Применяйте официальную терминологию из документов
+   - Сохраняйте оригинальные формулировки ключевых требований
+   - При необходимости разъясняйте специальные термины на основе НД
+
+5. СТРУКТУРИРОВАНИЕ ОТВЕТОВ:
+   - Всегда начинайте с блока источников
+   - Для саммари: используйте маркированные или нумерованные списки
+   - Для проверки: четкая структура "Требование → Соответствие/Несоответствие"
+   - Для планов: пронумерованные шаги с подзадачами при необходимости
+   - Для поиска: указание полной иерархии документа
+
+6. ДОПОЛНИТЕЛЬНЫЕ РЕКОМЕНДАЦИИ:
+   - При множественных релевантных источниках - укажите все с их структурной информацией
+   - Выделяйте критически важные требования
+   - Указывайте альтернативные процедуры, если они предусмотрены НД
+   - Если в одном ответе используется информация из разных разделов, указывайте все релевантные разделы
+
+ПРИМЕРЫ ПРАВИЛЬНОГО ФОРМАТА ОТВЕТА:
+
+**📍 Источник**: ГОСТ Р 58771-2019
+**📄 Раздел**: 4.2 - Требования к испытательным лабораториям
+**🔗 Ссылка**: [ссылка на документ]
+
+Согласно пункту 4.2 "Требования к испытательным лабораториям", лаборатория должна соответствовать следующим критериям:
+1. Наличие аккредитации...
+2. Квалифицированный персонал...
+
+Контекст: {context_str}
+
+Вопрос: {query_str}
+
+Ответ:
+"""
+
+# # CUSTOM_PROMPT_NEW = """
+# Вы являетесь высокоспециализированным Ассистентом для анализа документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы на основе анализа нормативной документации (НД). Все ваши ответы должны основываться исключительно на предоставленном контексте без использования внешних знаний или предположений.
+
+# ОПРЕДЕЛЕНИЕ ТИПА ЗАДАЧИ:
+# Проанализируйте запрос пользователя и определите тип задачи:
+
+# 1. КРАТКОЕ САММАРИ (ключевые слова: "кратко", "суммировать", "резюме", "основные моменты", "в двух словах"):
+#    - Предоставьте структурированное резюме запрашиваемого раздела/пункта
+#    - Выделите ключевые требования, процедуры или положения
+#    - Используйте нумерованный список для лучшей читаемости
+#    - Сохраняйте терминологию НД
+
+# 2. ПОИСК ДОКУМЕНТА И ПУНКТА (ключевые слова: "найти", "где", "какой документ", "в каком разделе", "ссылка"):
+#    - Укажите конкретный документ и его структурное расположение
+#    - Предоставьте точные номера разделов/подразделов/пунктов
+#    - Процитируйте релевантные фрагменты
+#    - Если найдено несколько документов, перечислите все с указанием специфики каждого
+
+# 3. ПРОВЕРКА КОРРЕКТНОСТИ (ключевые слова: "правильно ли", "соответствует ли", "проверить", "корректно", "нарушение"):
+#    - Сопоставьте предоставленную информацию с требованиями НД
+#    - Четко укажите: "СООТВЕТСТВУЕТ" или "НЕ СООТВЕТСТВУЕТ"
+#    - Перечислите конкретные требования НД
+#    - Укажите выявленные расхождения или подтвердите соответствие
+#    - Процитируйте релевантные пункты НД
+
+# 4. ПЛАН ДЕЙСТВИЙ (ключевые слова: "план", "алгоритм", "последовательность", "как действовать", "пошагово"):
+#    - Создайте пронумерованный пошаговый план
+#    - Каждый шаг должен содержать ссылку на соответствующий пункт НД
+#    - Укажите необходимые документы или формы
+#    - Добавьте временные рамки, если они указаны в НД
+#    - Выделите критические требования или ограничения
+
+# ПРАВИЛА ФОРМИРОВАНИЯ ОТВЕТОВ:
+
+# 1. ОБЯЗАТЕЛЬНОЕ УКАЗАНИЕ ИСТОЧНИКОВ:
+#    - Для контента из конкретного раздела/подраздела:
+#      "Согласно разделу [X] и подразделу [X.X]: [Ваш ответ]"
+#    - Для контента вне подразделов (таблицы, рисунки, общие разделы):
+#      "Согласно [Название документа] - [Номер и наименование пункта/таблицы/рисунка]: [Ваш ответ]"
+#    - При наличии метаданных о разделе и подразделе - включайте оба
+#    - При наличии только раздела: "Согласно разделу [X]: [Ваш ответ]"
+
+# 2. СТРОГОЕ СЛЕДОВАНИЕ КОНТЕКСТУ:
+#    - Если информация не найдена: "Информация по вашему запросу не была найдена в нормативной документации."
+#    - Не делайте предположений или выводов за пределами предоставленного контекста
+#    - Не используйте общие знания
+
+# 3. ИСПОЛЬЗОВАНИЕ ТЕРМИНОЛОГИИ НД:
+#    - Применяйте официальную терминологию из документов
+#    - Сохраняйте оригинальные формулировки ключевых требований
+#    - При необходимости разъясняйте специальные термины на основе НД
+
+# 4. СТРУКТУРИРОВАНИЕ ОТВЕТОВ:
+#    - Для саммари: используйте маркированные или нумерованные списки
+#    - Для проверки: четкая структура "Требование → Соответствие/Несоответствие"
+#    - Для планов: пронумерованные шаги с подзадачами при необходимости
+#    - Для поиска: указание иерархии документа
+
+# 5. ДОПОЛНИТЕЛЬНЫЕ РЕКОМЕНДАЦИИ:
+#    - При множественных релевантных источниках - укажите все
+#    - Выделяйте критически важные требования
+#    - Указывайте альтернативные процедуры, если они предусмотрены НД
+
+# Контекст: {context_str}
+
+# Вопрос: {query_str}
+
+# Ответ:
+# """

questions.py

@@ -0,0 +1,75 @@
+questions_for_rag = [
+    {
+        'question': 'Опишите полный план действий, который должен быть выполнен организацией, если в процессе изготовления продукции, предназначенной для использования на объекте атомной энергии, было выявлено несоответствие.',
+        'answer': 'Согласно ГОСТ Р 50.02.02-2017, при выявлении несоответствия необходимо: 1) классифицировать несоответствие (на основе его влияния на безопасность); 2) разработать и согласовать корректирующие действия; 3) выполнить эти действия; 4) оформить документ регистрации несоответствия и принятых решений, который содержит информацию о самом несоответствии, его классификации, причинах возникновения и предпринятых мерах.',
+        'document_name': 'ГОСТ Р 50.02.02-2017',
+        'section': '5.2 Общие положения и 6 Классификация несоответствий',
+        'question_type': 'Составление плана действий согласно документации'
+    },
+    {
+        'question': 'В чем заключается основная цель ГОСТ Р 50.02.01-2017 и какие ключевые термины он устанавливает для оценки соответствия в области использования атомной энергии?',
+        'answer': 'Целью ГОСТ Р 50.02.01-2017 является установление терминов и соответствующих определений по оценке соответствия в области использования атомной энергии. Он включает такие ключевые термины, как "материал", "монтаж", "наладка", "объект использования атомной энергии (ОИАЭ)" и "обязательные требования".',
+        'document_name': 'ГОСТ Р 50.02.01-2017',
+        'section': 'Введение и 2 Термины и определения',
+        'question_type': 'Краткое саммари какого-то пункта или раздела из документации'
+    },
+    {
+        'question': 'Утверждается, что классификация несоответствий в ГОСТ Р 50.02.02-2017 применима только к продукции, поставляемой непосредственно на ОИАЭ. Проверьте правильность этого утверждения и объясните, на какую еще продукцию распространяется действие стандарта.',
+        'answer': 'Утверждение неверно. Согласно пункту 1.1 ГОСТ Р 50.02.02-2017, стандарт устанавливает классификацию несоответствий как для продукции, поставляемой непосредственно на ОИАЭ, так и для продукции, используемой в качестве комплектующего изделия при изготовлении продукции, поставляемой на ОИАЭ.',
+        'document_name': 'ГОСТ Р 50.02.02-2017',
+        'section': '1.1 Область применения',
+        'question_type': 'Проверка корректности и правильности данных'
+    },
+    {
+        'question': 'Найдите в документации определение термина "испытания" и объясните, в каких случаях этот термин используется в контексте оценки соответствия в области использования атомной энергии.',
+        'answer': 'Термин "испытания" (испытание) определен в пункте 13 ГОСТ Р 50.02.01-2017 как "экспериментальное определение количественных и/или качественных характеристик свойств продукции (процесса)". В контексте этого стандарта, испытания являются одной из форм оценки соответствия продукции.',
+        'document_name': 'ГОСТ Р 50.02.01-2017',
+        'section': '2. Термины и определения, пункт 13',
+        'question_type': 'Поиск конкретного документа и пункта по запросу'
+    },
+    {
+        'question': 'Объясните, какие действия необходимо предпринять, если вы обнаружили, что стандарт ГОСТ Р 50.01.01-2017 был пересмотрен, заменен или отменен.',
+        'answer': 'Согласно ГОСТ Р 50.01.01-2017, в случае пересмотра (замены) или отмены стандарта, соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты также размещаются в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru).',
+        'document_name': 'ГОСТ Р 50.01.01-2017',
+        'section': 'Предисловие, пункт 5',
+        'question_type': 'Составление плана действий согласно документации'
+    }
+]
+
+questions_for_rag_2 = [
+    {
+        'question': 'Проверка корректности и правильности данных: В соответствии с ГОСТ Р 50.05.23-2020, какие требования предъявляются к визуальному и измерительному контролю сварных соединений и наплавленных поверхностей? Расскажите подробно о допустимых дефектах и их классификации, а также о методах их оценки.',
+        'answer': 'В соответствии с ГОСТ Р 50.05.23-2020, визуальный и измерительный контроль проводится для выявления поверхностных дефектов, таких как трещины, поры, прожоги, несплавления. Дефекты оцениваются на основе их размеров, количества и расположения, а также с учетом класса качества. Стандарт устанавливает нормы оценки качества для различных видов дефектов, например, допустимые размеры пор и включений в зависимости от толщины металла и категории сварного соединения.',
+        'document_name': 'ГОСТ Р 50.05.23-2020',
+        'section': '5.2 Оценка качества при визуальном и измерительном контроле',
+        'question_type': 'Проверка корректности и правильности данных'
+    },
+    {
+        'question': 'Составление плана действий согласно документации: На основе ГОСТ Р 50.08.06-2017, опишите последовательность действий и ключевые критерии, которые необходимо учитывать при внесении предложения о включении новой продукции в перечень продукции, подлежащей обязательной сертификации в области использования атомной энергии. Какие документы нужно подготовить и какие аргументы предоставить?',
+        'answer': 'Согласно ГОСТ Р 50.08.06-2017, при внесении предложения о включении продукции в перечень необходимо: 1) заполнить таблицу по установленной форме; 2) указать наименование продукции и код классификатора; 3) изложить аргументы в пользу предложения, обосновать соответствие продукции основным критериям, установленным в стандарте, и привести информацию об ожидаемых результатах и рисках. Ключевые критерии включают в себя степень влияния продукции на безопасность, уникальность и сложность конструкции, а также возможность оценки соответствия другими способами.',
+        'document_name': 'ГОСТ Р 50.08.06-2017',
+        'section': '6. Порядок разработки и ведения перечня продукции',
+        'question_type': 'Составление плана действий согласно документации'
+    },
+    {
+        'question': 'Краткое саммари какого-то пункта или раздела из документации: Объясните, как, согласно МУ 1.1.4.01.1422-2019, проводятся испытания на вибростойкость и вибропрочность трубопроводной арматуры, применяемой на АЭС. Какие требования предъявляются к этим испытаниям и что они должны подтверждать?',
+        'answer': 'Согласно МУ 1.1.4.01.1422-2019, испытания на вибростойкость и вибропрочность трубопроводной арматуры проводятся для подтверждения ее способности сохранять работоспособность и целостность при воздействии вибрационных нагрузок, характерных для условий эксплуатации на АЭС. Испытания проводятся на специальном оборудовании, с заданными параметрами вибрации (частота, амплитуда) и должны подтверждать соответствие арматуры требованиям, установленным в техническом задании и/или исходных технических требованиях.',
+        'document_name': 'МУ 1.1.4.01.1422-2019',
+        'section': '1.2 Область применения и общие положения',
+        'question_type': 'Краткое саммари какого-то пункта или раздела из документации'
+    },
+    {
+        'question': 'Проверка корректности и правильности данных: Проверьте правильность утверждения: "Стоимость обязательной сертификации продукции, согласно ГОСТ Р 50.08.07-2017, зависит только от трудозатрат органа по сертификации и стоимости лабораторных испытаний. Коэффициенты сложности и количества единиц продукции не учитываются." Обоснуйте свой ответ, ссылаясь на положения стандарта.',
+        'answer': 'Утверждение неверно. Согласно ГОСТ Р 50.08.07-2017, стоимость обязательной сертификации определяется по формуле, которая включает в себя не только трудозатраты и стоимость испытаний, но и коэффициенты сложности продукции (Ксп), количества единиц продукции (Кко) и другие поправочные коэффициенты, учитывающие специфику продукции и условия проведения работ.',
+        'document_name': 'ГОСТ Р 50.08.07-2017',
+        'section': '5. Порядок определения стоимости работ по обязательной сертификации продукции и инспекционному контролю',
+        'question_type': 'Проверка корректности и правильности данных'
+    },
+    {
+        'question': 'Составление плана действий согласно документации: На основе ГОСТ Р 50.05.23-2020, опишите полный процесс оценки качества сварных соединений и наплавленных поверхностей при радиографическом контроле. Какие основные шаги необходимо выполнить, какие дефекты выявляются и какие критерии используются для оценки их допустимости?',
+        'answer': 'Согласно ГОСТ Р 50.05.23-2020, радиографический контроль проводится для выявления объемных и плоскостных внутренних дефектов, таких как поры, шлаковые включения, непровары, трещины. Процесс включает: 1) подготовку объекта контроля; 2) выбор режима съемки; 3) экспонирование; 4) обработку и расшифровку снимков. Оценка качества проводится по нормам, установленным в стандарте, с учетом чувствительности контроля, класса качества сварного соединения и типа дефектов. При обнаружении дефектов их размеры и количество сравниваются с допустимыми значениями, указанными в таблицах стандарта.',
+        'document_name': 'ГОСТ Р 50.05.23-2020',
+        'section': '5.7 Оценка качества при радиографическом контроле',
+        'question_type': 'Составление плана действий согласно документации'
+    }
+]

requirements.txt

@@ -0,0 +1,14 @@
+gradio
+faiss-cpu
+sentence-transformers
+google-generativeai
+huggingface_hub
+llama-index
+llama-index-core
+llama-index-embeddings-huggingface
+llama-index-llms-google-genai
+llama-index-vector-stores-faiss
+PyMuPDF  
+PyPDF2
+python-docx
+openpyxl