agercas's picture
add notes
11bc976

A newer version of the Gradio SDK is available: 6.2.0

Upgrade

Agent system for GAIA benchmark

Architecture

gaia_system = create_gaia_system()
gaia_system.visualize_system()
CodeAgent | Qwen/Qwen2.5-Coder-32B-Instruct
β”œβ”€β”€ βœ… Authorized imports: []
β”œβ”€β”€ πŸ› οΈ Tools:
β”‚   ┏━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
β”‚   ┃ Name         ┃ Description                                   ┃ Arguments                                    ┃
β”‚   ┑━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
β”‚   β”‚ final_answer β”‚ Provides a final answer to the given problem. β”‚ answer (`any`): The final answer to the      β”‚
β”‚   β”‚              β”‚                                               β”‚ problem                                      β”‚
β”‚   β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
└── πŸ€– Managed agents:
    β”œβ”€β”€ search_agent | CodeAgent | Qwen/Qwen2.5-Coder-32B-Instruct
    β”‚   β”œβ”€β”€ βœ… Authorized imports: []
    β”‚   β”œβ”€β”€ πŸ“ Description: Retrieves factual information and background data from various sources including 
    β”‚   β”‚   Wikipedia, web search, and academic papers
    β”‚   └── πŸ› οΈ Tools:
    β”‚       ┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
    β”‚       ┃ Name                  ┃ Description                          ┃ Arguments                            ┃
    β”‚       ┑━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
    β”‚       β”‚ wikipedia_search      β”‚ Search Wikipedia for information on  β”‚ query (`string`): The search term or β”‚
    β”‚       β”‚                       β”‚ a specific topic.                    β”‚ topic                                β”‚
    β”‚       β”‚                       β”‚                                      β”‚ language (`string`): Wikipedia       β”‚
    β”‚       β”‚                       β”‚                                      β”‚ language code (default: "en")        β”‚
    β”‚       β”‚                       β”‚                                      β”‚ sentences (`integer`): Number of     β”‚
    β”‚       β”‚                       β”‚                                      β”‚ sentences to return from summary     β”‚
    β”‚       β”‚                       β”‚                                      β”‚ (default: 3)                         β”‚
    β”‚       β”‚ web_search_duckduckgo β”‚ Search the web using DuckDuckGo      β”‚ query (`string`): Search query       β”‚
    β”‚       β”‚                       β”‚ search engine.                       β”‚ string                               β”‚
    β”‚       β”‚                       β”‚                                      β”‚ max_results (`integer`): Maximum     β”‚
    β”‚       β”‚                       β”‚                                      β”‚ number of results to return          β”‚
    β”‚       β”‚                       β”‚                                      β”‚ (default: 5)                         β”‚
    β”‚       β”‚ fetch_webpage_content β”‚ Fetch and extract text content from  β”‚ url (`string`): The URL to fetch     β”‚
    β”‚       β”‚                       β”‚ a webpage.                           β”‚ max_length (`integer`): Maximum      β”‚
    β”‚       β”‚                       β”‚                                      β”‚ length of content to return          β”‚
    β”‚       β”‚                       β”‚                                      β”‚ (default: 3000)                      β”‚
    β”‚       β”‚ arxiv_search          β”‚ Search arXiv papers.                 β”‚ query (`string`): Search query or    β”‚
    β”‚       β”‚                       β”‚                                      β”‚ paper ID (e.g., "1605.08386")        β”‚
    β”‚       β”‚ wikipedia_search_tool β”‚ Search Wikipedia using LangChain's   β”‚ query (`string`): Search query       β”‚
    β”‚       β”‚                       β”‚ WikipediaQueryRun.                   β”‚                                      β”‚
    β”‚       β”‚ duckduckgo_search     β”‚ Search using DuckDuckGo.             β”‚ query (`string`): Search query       β”‚
    β”‚       β”‚ final_answer          β”‚ Provides a final answer to the given β”‚ answer (`any`): The final answer to  β”‚
    β”‚       β”‚                       β”‚ problem.                             β”‚ the problem                          β”‚
    β”‚       β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
    β”œβ”€β”€ document_agent | CodeAgent | Qwen/Qwen2.5-Coder-32B-Instruct
    β”‚   β”œβ”€β”€ βœ… Authorized imports: []
    β”‚   β”œβ”€β”€ πŸ“ Description: Loads and processes structured and unstructured documents including CSV, Excel, text 
    β”‚   β”‚   files, and audio transcriptions
    β”‚   └── πŸ› οΈ Tools:
    β”‚       ┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
    β”‚       ┃ Name                  ┃ Description                          ┃ Arguments                            ┃
    β”‚       ┑━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
    β”‚       β”‚ load_csv_file         β”‚ Load and analyze a CSV file.         β”‚ filepath (`string`): Path to the CSV β”‚
    β”‚       β”‚                       β”‚                                      β”‚ file                                 β”‚
    β”‚       β”‚                       β”‚                                      β”‚ max_rows (`integer`): Maximum number β”‚
    β”‚       β”‚                       β”‚                                      β”‚ of rows to display (default: 100)    β”‚
    β”‚       β”‚                       β”‚                                      β”‚ max_columns (`integer`): Maximum     β”‚
    β”‚       β”‚                       β”‚                                      β”‚ number of columns to display         β”‚
    β”‚       β”‚                       β”‚                                      β”‚ (default: 20)                        β”‚
    β”‚       β”‚                       β”‚                                      β”‚ get_all_rows (`boolean`): If True,   β”‚
    β”‚       β”‚                       β”‚                                      β”‚ return all rows regardless of        β”‚
    β”‚       β”‚                       β”‚                                      β”‚ max_rows (default: False)            β”‚
    β”‚       β”‚ load_excel_file       β”‚ Load and analyze an Excel file.      β”‚ filepath (`string`): Path to the     β”‚
    β”‚       β”‚                       β”‚                                      β”‚ Excel file                           β”‚
    β”‚       β”‚                       β”‚                                      β”‚ sheet_name (`string`): Specific      β”‚
    β”‚       β”‚                       β”‚                                      β”‚ sheet to load (default: None for     β”‚
    β”‚       β”‚                       β”‚                                      β”‚ first sheet)                         β”‚
    β”‚       β”‚                       β”‚                                      β”‚ max_rows (`integer`): Maximum number β”‚
    β”‚       β”‚                       β”‚                                      β”‚ of rows to display (default: 100)    β”‚
    β”‚       β”‚                       β”‚                                      β”‚ max_columns (`integer`): Maximum     β”‚
    β”‚       β”‚                       β”‚                                      β”‚ number of columns to display         β”‚
    β”‚       β”‚                       β”‚                                      β”‚ (default: 20)                        β”‚
    β”‚       β”‚                       β”‚                                      β”‚ get_all_rows (`boolean`): If True,   β”‚
    β”‚       β”‚                       β”‚                                      β”‚ return all rows regardless of        β”‚
    β”‚       β”‚                       β”‚                                      β”‚ max_rows (default: False)            β”‚
    β”‚       β”‚ read_text_file        β”‚ Read content from a text file.       β”‚ filepath (`string`): Path to the     β”‚
    β”‚       β”‚                       β”‚                                      β”‚ text file                            β”‚
    β”‚       β”‚                       β”‚                                      β”‚ max_length (`integer`): Maximum      β”‚
    β”‚       β”‚                       β”‚                                      β”‚ length of content to return          β”‚
    β”‚       β”‚                       β”‚                                      β”‚ (default: 2000)                      β”‚
    β”‚       β”‚                       β”‚                                      β”‚ encoding (`string`): File encoding   β”‚
    β”‚       β”‚                       β”‚                                      β”‚ (default: "utf-8")                   β”‚
    β”‚       β”‚ transcribe_audio_file β”‚ Transcribe audio file to text using  β”‚ filepath (`string`): Path to the     β”‚
    β”‚       β”‚                       β”‚ Whisper.                             β”‚ audio file                           β”‚
    β”‚       β”‚                       β”‚                                      β”‚ model_size (`string`): Whisper model β”‚
    β”‚       β”‚                       β”‚                                      β”‚ size ("tiny", "base", "small",       β”‚
    β”‚       β”‚                       β”‚                                      β”‚ "medium", "large")                   β”‚
    β”‚       β”‚ final_answer          β”‚ Provides a final answer to the given β”‚ answer (`any`): The final answer to  β”‚
    β”‚       β”‚                       β”‚ problem.                             β”‚ the problem                          β”‚
    β”‚       β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
    β”œβ”€β”€ vision_agent | CodeAgent | Qwen/Qwen2.5-Coder-32B-Instruct
    β”‚   β”œβ”€β”€ βœ… Authorized imports: []
    β”‚   β”œβ”€β”€ πŸ“ Description: Extracts text and meaning from images using OCR, captioning, and visual question 
    β”‚   β”‚   answering
    β”‚   └── πŸ› οΈ Tools:
    β”‚       ┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
    β”‚       ┃ Name                  ┃ Description                          ┃ Arguments                            ┃
    β”‚       ┑━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
    β”‚       β”‚ ocr_tool              β”‚ Extract text from images using OCR.  β”‚ image_path (`string`): Path to image β”‚
    β”‚       β”‚                       β”‚                                      β”‚ file                                 β”‚
    β”‚       β”‚ image_captioning_tool β”‚ Generate basic image information     β”‚ image_path (`string`): Path to image β”‚
    β”‚       β”‚                       β”‚ (placeholder for actual captioning). β”‚ file                                 β”‚
    β”‚       β”‚ visual_qa_tool        β”‚ Answer questions about images        β”‚ image_path (`string`): Path to image β”‚
    β”‚       β”‚                       β”‚ (placeholder for actual VQA).        β”‚ file                                 β”‚
    β”‚       β”‚                       β”‚                                      β”‚ question (`string`): Question about  β”‚
    β”‚       β”‚                       β”‚                                      β”‚ the image                            β”‚
    β”‚       β”‚ final_answer          β”‚ Provides a final answer to the given β”‚ answer (`any`): The final answer to  β”‚
    β”‚       β”‚                       β”‚ problem.                             β”‚ the problem                          β”‚
    β”‚       β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
    β”œβ”€β”€ reasoning_agent | CodeAgent | Qwen/Qwen2.5-Coder-32B-Instruct
    β”‚   β”œβ”€β”€ βœ… Authorized imports: []
    β”‚   β”œβ”€β”€ πŸ“ Description: Performs symbolic reasoning, logical pattern recognition, and analytical tasks
    β”‚   └── πŸ› οΈ Tools:
    β”‚       ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
    β”‚       ┃ Name                        ┃ Description                       ┃ Arguments                         ┃
    β”‚       ┑━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
    β”‚       β”‚ analyze_chess_position      β”‚ Analyze a chess position given in β”‚ fen_notation (`string`): Chess    β”‚
    β”‚       β”‚                             β”‚ FEN notation.                     β”‚ position in FEN (Forsyth-Edwards  β”‚
    β”‚       β”‚                             β”‚                                   β”‚ Notation)                         β”‚
    β”‚       β”‚ analyze_table_commutativity β”‚ Analyze a mathematical operation  β”‚ table_data (`string`): String     β”‚
    β”‚       β”‚                             β”‚ table for commutativity.          β”‚ representation of the operation   β”‚
    β”‚       β”‚                             β”‚                                   β”‚ table                             β”‚
    β”‚       β”‚ count_items_in_list         β”‚ Count items in a delimited list.  β”‚ items_text (`string`): Text       β”‚
    β”‚       β”‚                             β”‚                                   β”‚ containing delimited items        β”‚
    β”‚       β”‚                             β”‚                                   β”‚ separator (`string`): Delimiter   β”‚
    β”‚       β”‚                             β”‚                                   β”‚ to split on (default: ",")        β”‚
    β”‚       β”‚ final_answer                β”‚ Provides a final answer to the    β”‚ answer (`any`): The final answer  β”‚
    β”‚       β”‚                             β”‚ given problem.                    β”‚ to the problem                    β”‚
    β”‚       β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
    β”œβ”€β”€ language_agent | CodeAgent | Qwen/Qwen2.5-Coder-32B-Instruct
    β”‚   β”œβ”€β”€ βœ… Authorized imports: []
    β”‚   β”œβ”€β”€ πŸ“ Description: Handles low-level text transformations and string manipulations
    β”‚   └── πŸ› οΈ Tools:
    β”‚       ┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
    β”‚       ┃ Name                    ┃ Description                         ┃ Arguments                           ┃
    β”‚       ┑━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
    β”‚       β”‚ reverse_string          β”‚ Reverse a string character by       β”‚ text (`string`): The string to      β”‚
    β”‚       β”‚                         β”‚ character.                          β”‚ reverse                             β”‚
    β”‚       β”‚ reverse_words_in_string β”‚ Reverse the order of words in a     β”‚ text (`string`): The string with    β”‚
    β”‚       β”‚                         β”‚ string.                             β”‚ words to reverse                    β”‚
    β”‚       β”‚ final_answer            β”‚ Provides a final answer to the      β”‚ answer (`any`): The final answer to β”‚
    β”‚       β”‚                         β”‚ given problem.                      β”‚ the problem                         β”‚
    β”‚       β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
    └── coding_agent | CodeAgent | Qwen/Qwen2.5-Coder-32B-Instruct
        β”œβ”€β”€ βœ… Authorized imports: ['pandas', 'numpy', 'matplotlib', 'json', 're', 'datetime', 'math', 
        β”‚   'statistics', 'itertools']
        β”œβ”€β”€ πŸ“ Description: Executes Python code and performs computational logic through code interpretation
        └── πŸ› οΈ Tools:
            ┏━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
            ┃ Name         ┃ Description                               ┃ Arguments                                ┃
            ┑━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
            β”‚ final_answer β”‚ Provides a final answer to the given      β”‚ answer (`any`): The final answer to the  β”‚
            β”‚              β”‚ problem.                                  β”‚ problem                                  β”‚
            β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜