Delete validate_format.py

validate_format.py

@@ -1,115 +0,0 @@
-"""
-Тестовый скрипт для локальной проверки формата ответа агента
-"""
-
-import json
-
-def test_agent_output_format(agent_response):
-    """
-    Проверяет формат ответа агента на соответствие требованиям Hugging Face GAIA
-    
-    Args:
-        agent_response: Ответ агента для проверки
-    
-    Returns:
-        dict: Результаты проверки
-    """
-    results = {
-        "is_valid": False,
-        "format_type": None,
-        "extracted_answer": None,
-        "issues": []
-    }
-    
-    # Проверка на пустой ответ
-    if not agent_response:
-        results["issues"].append("Ответ пустой")
-        return results
-    
-    # Проверка на JSON формат
-    try:
-        json_obj = json.loads(agent_response)
-        results["format_type"] = "JSON"
-        
-        # Проверка наличия ключа final_answer
-        if "final_answer" in json_obj:
-            final_answer = json_obj["final_answer"]
-            results["extracted_answer"] = final_answer
-            
-            # Проверка на пустой final_answer
-            if not final_answer:
-                results["issues"].append("Ключ final_answer содержит пустое значение")
-            else:
-                results["is_valid"] = True
-        else:
-            results["issues"].append("JSON не содержит ключ 'final_answer'")
-            
-    except json.JSONDecodeError:
-        # Если не JSON, проверяем как plain string
-        results["format_type"] = "Plain String"
-        results["extracted_answer"] = agent_response
-        
-        # Проверка на префиксы, которые могут помешать exact match
-        prefixes = ["Answer:", "Response:", "A:", "The answer is:", "Final answer:"]
-        for prefix in prefixes:
-            if agent_response.startswith(prefix):
-                results["issues"].append(f"Ответ содержит префикс '{prefix}', который может помешать exact match")
-        
-        # Если нет проблем с префиксами, считаем plain string валидным
-        if not results["issues"]:
-            results["is_valid"] = True
-    
-    return results
-
-def main():
-    """
-    Демонстрирует проверку различных форматов ответа
-    """
-    # Примеры ответов для тестирования
-    test_responses = [
-        # JSON с final_answer (правильный формат)
-        '{"final_answer": "Paris"}',
-        
-        # Plain string (может работать, но не рекомендуется)
-        "Paris",
-        
-        # JSON без final_answer (неправильный формат)
-        '{"answer": "Paris", "confidence": 0.95}',
-        
-        # Plain string с префиксом (неправильный формат)
-        "Answer: Paris",
-        
-        # Пустой ответ
-        "",
-        
-        # JSON с пустым final_answer
-        '{"final_answer": ""}'
-    ]
-    
-    print("=== ПРОВЕРКА ФОРМАТОВ ОТВЕТА ДЛЯ HUGGING FACE GAIA ===\n")
-    
-    for i, response in enumerate(test_responses):
-        print(f"Тест #{i+1}: {response}")
-        results = test_agent_output_format(response)
-        
-        print(f"  Формат: {results['format_type']}")
-        print(f"  Извлеченный ответ: {results['extracted_answer']}")
-        print(f"  Валидный: {'✓' if results['is_valid'] else '✗'}")
-        
-        if results["issues"]:
-            print("  Проблемы:")
-            for issue in results["issues"]:
-                print(f"    - {issue}")
-        else:
-            print("  Проблемы: нет")
-        
-        print()
-    
-    print("=== РЕКОМЕНДАЦИИ ===")
-    print("1. Используйте формат JSON с ключом 'final_answer'")
-    print("2. Убедитесь, что значение 'final_answer' не пустое")
-    print("3. Избегайте префиксов в ответе")
-    print("4. Проверьте, что ответ точно соответствует ожидаемому (exact match)")
-
-if __name__ == "__main__":
-    main()