Spaces:
Sleeping
Sleeping
| # FinRyver - Visual System Architecture | |
| ## ๐๏ธ **SYSTEM ARCHITECTURE OVERVIEW** | |
| ``` | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FINRYVER SYSTEM โ | |
| โ FINANCIAL STATEMENT GENERATION โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโ | |
| โ โ โ | |
| โผ โผ โผ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ CLIENT/UI โ โ FASTAPI โ โ LANGGRAPH โ | |
| โ (Streamlit) โ โ ENDPOINTS โ โ WORKFLOWS โ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ โ โ | |
| โผ โผ โผ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ EXCEL INPUT โ โ DATA PROCESSINGโ โ AI TOOLS โ | |
| โ FILES โ โ SCRIPTS โ โ (SUBPROCESS) โ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ โ โ | |
| โผ โผ โผ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ JSON DATA โ โ EXCEL GENERATIONโ โ OUTPUT โ | |
| โ STRUCTURES โ โ SCRIPTS โ โ FILES โ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| --- | |
| ## ๐ **FILE STRUCTURE MAP** | |
| ``` | |
| FinRyver/ | |
| โโโ app.py # ๐ MAIN API SERVER | |
| โโโ agents/ | |
| โ โโโ simple_tools.py # ๐ ๏ธ LANGCHAIN TOOLS | |
| โ โโโ langgraph.py # ๐ WORKFLOW ENGINE | |
| โ โโโ rlhf_workflows.py # ๐ฏ RLHF ENHANCED | |
| โโโ notes/ # ๐ NOTES PROCESSING | |
| โ โโโ data_extraction.py # ๐ EXCEL โ JSON | |
| โ โโโ notes_generator.py # ๐ค RULE-BASED NOTES | |
| โ โโโ json_to_excel.py # ๐ JSON โ EXCEL | |
| โ โโโ llm_notes_generator.py # ๐ง AI NOTES (MISTRAL) | |
| โ โโโ notes_template.py # ๐ TEMPLATES | |
| โโโ bs/ # ๐ฆ BALANCE SHEET | |
| โ โโโ bl_llm.py # ๐ค AI PROCESSING | |
| โ โโโ csv_json_bs.py # ๐ CSV โ JSON | |
| โ โโโ sircodebs.py # ๐ BS GENERATION | |
| โโโ pnl/ # ๐ฐ P&L STATEMENT | |
| โ โโโ csv_json_pnl.py # ๐ DATA PROCESSING | |
| โ โโโ pnl_note.py # ๐งฎ CALCULATIONS | |
| โโโ cf/ # ๐ง CASH FLOW | |
| โ โโโ cash_flow_data_extractor.py # ๐ DATA EXTRACTION | |
| โ โโโ cash_flow_csv_to_json_converter.py # ๐ CSV โ JSON | |
| โ โโโ cash_flow_data_processor.py # ๐งฎ PROCESSING | |
| โ โโโ cash_flow_statement_generator.py # ๐ EXCEL OUTPUT | |
| โโโ config/ # โ๏ธ CONFIGURATION | |
| โ โโโ mapping1.json # ๐บ๏ธ ACCOUNT MAPPINGS | |
| โ โโโ rules1.json # ๐ BUSINESS RULES | |
| โโโ data/ # ๐พ DATA STORAGE | |
| โโโ input/ # ๐ฅ UPLOADS | |
| โโโ output/ # ๐ค GENERATED FILES | |
| โโโ generated_notes/ # ๐ AI NOTES | |
| โโโ clean_financial_data_*.json # ๐ PROCESSED DATA | |
| ``` | |
| --- | |
| ## ๐ **API ENDPOINTS FLOW** | |
| ``` | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FASTAPI ENDPOINTS โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโ | |
| โ โ โ | |
| โผ โผ โผ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ POST /notes โ โ POST /notes-llm โ โ POST /bs โ | |
| โ โ โ โ โ โ | |
| โ ๐ค RULE-BASED โ โ ๐ค AI-POWERED โ โ ๐ฆ BALANCE SHEETโ | |
| โ ๐ NOTES โ โ ๐ NOTES โ โ ๐ GENERATION โ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ โ โ | |
| โผ โผ โผ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ POST /pnl โ โ POST /cf โ โ RLHF ENHANCED โ | |
| โ โ โ โ โ โ | |
| โ ๐ฐ P&L STATEMENTโ โ ๐ง CASH FLOW โ โ ๐ฏ QUALITY โ | |
| โ ๐ GENERATION โ โ ๐ STATEMENT โ โ ๐ IMPROVEMENT โ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| --- | |
| ## ๐ **BALANCE SHEET GENERATION FLOW** | |
| ``` | |
| ๐ฅ EXCEL UPLOAD | |
| โ | |
| ๐ฆ POST /bs | |
| โ | |
| ๐พ data/input/filename.xlsx | |
| โ | |
| ๐ LANGGRAPH WORKFLOW | |
| โ | |
| ๐ ๏ธ generate_balance_sheet() | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 1: DATA EXTRACTION โ | |
| โ balance_sheet_data_extractor.py โ | |
| โ โ Extract from Excel sheets โ | |
| โ โ Create CSV files โ | |
| โ โ data/csv_notes_bs/ โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 2: CSV โ JSON โ | |
| โ csv_json_bs.py โ | |
| โ โ Process CSV data โ | |
| โ โ Apply business rules โ | |
| โ โ clean_financial_data_bs.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 3: AI PROCESSING โ | |
| โ bl_llm.py + sircodebs.py โ | |
| โ โ Claude 3.5 Sonnet AI โ | |
| โ โ Account classification โ | |
| โ โ Balance calculations โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 4: EXCEL GENERATION โ | |
| โ โ Professional formatting โ | |
| โ โ Balance sheet layout โ | |
| โ โ data/output/balance_sheet_*.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| ๐ค FILE DOWNLOAD | |
| ``` | |
| --- | |
| ## ๐ฐ **P&L STATEMENT GENERATION FLOW** | |
| ``` | |
| ๐ฅ EXCEL UPLOAD | |
| โ | |
| ๐ฐ POST /pnl | |
| โ | |
| ๐พ data/input/filename.xlsx | |
| โ | |
| ๐ LANGGRAPH WORKFLOW | |
| โ | |
| ๐ ๏ธ generate_pnl_statement() | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 1: DATA EXTRACTION โ | |
| โ pnl_data_extractor.py โ | |
| โ โ Extract P&L accounts โ | |
| โ โ Identify revenue/expenses โ | |
| โ โ Create structured data โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 2: DATA PROCESSING โ | |
| โ csv_json_pnl.py โ | |
| โ โ Convert to JSON format โ | |
| โ โ Apply account mappings โ | |
| โ โ clean_financial_data_pnl.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 3: CALCULATIONS โ | |
| โ pnl_note.py โ | |
| โ โ Revenue calculations โ | |
| โ โ Expense calculations โ | |
| โ โ Profit calculations โ | |
| โ โ EBITDA, EBIT, PBT, PAT โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 4: EXCEL GENERATION โ | |
| โ โ Professional P&L format โ | |
| โ โ Comparative columns โ | |
| โ โ data/pnl_statement.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| ๐ค FILE DOWNLOAD | |
| ``` | |
| --- | |
| ## ๐ง **CASH FLOW STATEMENT GENERATION FLOW** | |
| ``` | |
| ๐ฅ EXCEL UPLOAD | |
| โ | |
| ๐ง POST /cf | |
| โ | |
| ๐พ data/input/filename.xlsx | |
| โ | |
| ๐ LANGGRAPH WORKFLOW | |
| โ | |
| ๐ ๏ธ generate_cash_flow_statement() | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 1: DATA EXTRACTION โ | |
| โ cash_flow_data_extractor.py โ | |
| โ โ Extract from Excel sheets โ | |
| โ โ Note 16-23, 2-8, 9, 10-15, 24-30 โ | |
| โ โ Create CSV files โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 2: CSV โ JSON โ | |
| โ cash_flow_csv_to_json_converter.py โ | |
| โ โ Process all CSV files โ | |
| โ โ Create structured JSON โ | |
| โ โ clean_financial_data_cfs.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 3: DATA PROCESSING โ | |
| โ cash_flow_data_processor.py โ | |
| โ โ Extract P&L data โ | |
| โ โ Process working capital changes โ | |
| โ โ Calculate cash flow components โ | |
| โ โ data/extracted_cfs_data.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 4: EXCEL GENERATION โ | |
| โ cash_flow_statement_generator.py โ | |
| โ โ Operating activities โ | |
| โ โ Investing activities โ | |
| โ โ Financing activities โ | |
| โ โ data/cash_flow_statements.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| ๐ค FILE DOWNLOAD | |
| ``` | |
| --- | |
| ## ๐ **NOTES GENERATION FLOW (RULE-BASED)** | |
| ``` | |
| ๐ฅ EXCEL UPLOAD | |
| โ | |
| ๐ POST /notes | |
| โ | |
| ๐พ data/input/filename.xlsx | |
| โ | |
| ๐ LANGGRAPH WORKFLOW | |
| โ | |
| ๐ ๏ธ generate_notes_full_pipeline_from_path() | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 1: DATA EXTRACTION โ | |
| โ data_extraction.py โ | |
| โ โ extract_trial_balance_data() โ | |
| โ โ Process Excel trial balance โ | |
| โ โ Create structured data โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 2: ANALYSIS & SAVE โ | |
| โ analyze_and_save_results() โ | |
| โ โ Validate data completeness โ | |
| โ โ data/output1/parsed_trial_balance.json | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 3: NOTES GENERATION โ | |
| โ notes_generator.py โ | |
| โ โ process_json() โ | |
| โ โ Apply config/rules1.json โ | |
| โ โ Use config/mapping1.json โ | |
| โ โ Generate financial notes โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 4: JSON NORMALIZATION โ | |
| โ โ Wrap in {"notes": [...]} format โ | |
| โ โ data/output2/notes_output_wrapped.json | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 5: EXCEL GENERATION โ | |
| โ json_to_excel.py โ | |
| โ โ json_to_xlsx() โ | |
| โ โ Professional formatting โ | |
| โ โ data/output3/final_output.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| ๐ค FILE DOWNLOAD | |
| ``` | |
| --- | |
| ## ๐ค **NOTES GENERATION FLOW (AI-POWERED)** | |
| ``` | |
| ๐ฅ EXCEL UPLOAD | |
| โ | |
| ๐ POST /notes-llm | |
| โ | |
| ๐พ data/input/filename.xlsx | |
| โ | |
| ๐ LANGGRAPH WORKFLOW | |
| โ | |
| ๐ ๏ธ generate_llm_notes() | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 1: DATA EXTRACTION โ | |
| โ llm_notes_data_processor.py โ | |
| โ โ extract_trial_balance_data() โ | |
| โ โ Process Excel data โ | |
| โ โ data/output1/parsed_trial_balance.json | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 2: AI NOTES GENERATION โ | |
| โ llm_notes_generator.py โ | |
| โ โ FlexibleFinancialNoteGenerator โ | |
| โ โ Mistral AI (mixtral-8x7b) โ | |
| โ โ OpenRouter API โ | |
| โ โ data/generated_notes/notes.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 3: VALIDATION โ | |
| โ โ JSON structure validation โ | |
| โ โ Content completeness check โ | |
| โ โ Account classification โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 4: EXCEL GENERATION โ | |
| โ llm_notes_excel_converter.py โ | |
| โ โ normalize_llm_notes_json() โ | |
| โ โ Professional Excel format โ | |
| โ โ data/generated_notes_excel/notes.xlsx | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| ๐ค FILE DOWNLOAD | |
| ``` | |
| --- | |
| ## ๐ฏ **RLHF ENHANCEMENT FLOW** | |
| ``` | |
| ๐ฅ EXCEL UPLOAD + RLHF=TRUE | |
| โ | |
| ๐ฏ POST /notes?use_rlhf=true | |
| โ | |
| ๐ RLHF WORKFLOW MANAGER | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 1: STATE CREATION โ | |
| โ RLHFFinancialAgentState โ | |
| โ โ statement_id: uuid โ | |
| โ โ file_path: input file โ | |
| โ โ candidates_generated: [] โ | |
| โ โ best_candidate_index: None โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 2: CANDIDATE GENERATION โ | |
| โ โ Generate 3 note variations โ | |
| โ โ Different processing approaches โ | |
| โ โ Store in candidates array โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 3: QUALITY PREDICTION โ | |
| โ โ ML reward model evaluation โ | |
| โ โ Score each candidate โ | |
| โ โ Select best candidate โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ STEP 4: OUTPUT SELECTION โ | |
| โ โ Return highest quality output โ | |
| โ โ Update model with feedback โ | |
| โ โ Continuous improvement โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| ๐ค FILE DOWNLOAD | |
| ``` | |
| --- | |
| ## ๐ง **ENVIRONMENT VARIABLES MAP** | |
| ``` | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ ENVIRONMENT VARIABLES โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโค | |
| โ OPENROUTER_API_KEY โ CFS_EXCEL_FILE_PATH โ CFS_OUTPUT_FOLDER โ CFS_JSON_INPUT โ | |
| โ ๐ค AI API Access โ ๐ Input Excel Path โ ๐ CSV Output Dir โ ๐ Input JSON โ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ CFS_JSON_OUTPUT โ CFS_EXTRACTED_FILE โ CFS_OUTPUT_FILE โ CFS_TAX_PAID โ | |
| โ ๐ Output JSON โ ๐ Extracted Data โ ๐ Final Excel โ ๐ฐ Tax Amount โ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ CFS_SKIPROWS โ CFS_NOTE_SHEETS โ INPUT_FILE โ OUTPUT_FOLDER โ | |
| โ โญ๏ธ Excel Skip Rows โ ๐ Sheet Names โ ๐ Input File โ ๐ Output Dir โ | |
| โโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ | |
| ``` | |
| --- | |
| ## โก **COMPONENT INTERACTION MATRIX** | |
| ``` | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ COMPONENT INTERACTION MATRIX โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโค | |
| โ COMPONENT โ INPUT โ PROCESS โ OUTPUT โ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ app.py โ HTTP Requests โ FastAPI Routing โ FileResponse โ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ langgraph.py โ File Path + Type โ Workflow Orchestrationโ Success/Error โ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ simple_tools.py โ File Path โ Subprocess Calls โ Excel Path โ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ *_extractor.py โ Excel File โ Data Extraction โ CSV Files โ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ *_converter.py โ CSV Files โ JSON Processing โ JSON Data โ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ *_generator.py โ JSON Data โ Calculations โ Excel File โ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ llm_*.py โ JSON Data โ AI Processing โ Enhanced Dataโ | |
| โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโค | |
| โ rlhf_*.py โ File Path โ Quality Enhancement โ Best Output โ | |
| โโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ | |
| ``` | |
| --- | |
| ## ๐จ **ERROR HANDLING FLOW** | |
| ``` | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ ERROR DETECTED โ โ SUCCESS PATH โ | |
| โ โข File not found โ โ โข All steps complete โ | |
| โ โข Invalid Excel format โ โ โข Output file created โ | |
| โ โข API connection failed โ โ โข Validation passed โ | |
| โ โข Calculation errors โ โ โข FileResponse ready โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโ | |
| โ โ | |
| โผ โผ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ ERROR HANDLING โ โ SUCCESS โ | |
| โ LOGIC โ โ RESPONSE โ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ โ | |
| โผ โผ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โ โข Log Error โ โ โข Return Excel โ | |
| โ โข Return Error โ โ โข Status: Successโ | |
| โ โข Status: Error โ โ โข File Download โ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| --- | |
| ## ๐ **DATA TRANSFORMATION PIPELINE** | |
| ``` | |
| EXCEL FILE | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ DATA EXTRACTION โ | |
| โ โข Read Excel sheets โ | |
| โ โข Extract account data โ | |
| โ โข Create structured records โ | |
| โ โข Output: CSV files โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ DATA PROCESSING โ | |
| โ โข Parse CSV files โ | |
| โ โข Apply business rules โ | |
| โ โข Account classification โ | |
| โ โข Output: JSON structures โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CALCULATIONS โ | |
| โ โข Financial calculations โ | |
| โ โข Balance validations โ | |
| โ โข AI enhancement (optional) โ | |
| โ โข Output: Processed data โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ EXCEL GENERATION โ | |
| โ โข Professional formatting โ | |
| โ โข Headers and styling โ | |
| โ โข Multiple worksheets โ | |
| โ โข Output: Excel file โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| FILE DOWNLOAD | |
| ``` | |
| --- | |
| ## ๐ค **AI INTEGRATION WORKFLOW** | |
| ``` | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ AI REQUEST โ | |
| โ โข Trial balance data โ | |
| โ โข Processing instructions โ | |
| โ โข Account mappings โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ OPENROUTER API โ | |
| โ โข Claude 3.5 โ | |
| โ โข Mistral AI โ | |
| โ โข API Key Auth โ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ AI PROCESSING โ | |
| โ โข Account analysisโ | |
| โ โข Note generationโ | |
| โ โข Classification โ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ RESPONSE VALIDATION โ | |
| โ โข JSON structure check โ | |
| โ โข Content completeness โ | |
| โ โข Financial logic validation โ | |
| โ โข Fallback model if needed โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ ENHANCED OUTPUT โ | |
| โ โข AI-improved data โ | |
| โ โข Better classifications โ | |
| โ โข Intelligent notes โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| --- | |
| ## ๐ **PERFORMANCE MONITORING FLOW** | |
| ``` | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ REQUEST START โ | |
| โ โข Timestamp recording โ | |
| โ โข Execution ID generation โ | |
| โ โข Resource monitoring โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ PROCESSING โ | |
| โ โข Step timing โ | |
| โ โข Memory usage โ | |
| โ โข API calls โ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ METRICS COLLECTION โ | |
| โ โข Total execution time โ | |
| โ โข Step-by-step timing โ | |
| โ โข Success/error rates โ | |
| โ โข Resource utilization โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LOGGING & REPORTING โ | |
| โ โข Comprehensive logs โ | |
| โ โข Performance dashboards โ | |
| โ โข Error tracking โ | |
| โ โข Optimization insights โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ค **Part 1.5: LLM Notes Generation (Simple Flow)** | |
| ``` | |
| ๐ฅ INPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client uploads Excel Trial Balance file via Streamlit/API โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /notes-llm request to FastAPI with file upload โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI saves file to data/input/{filename} โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ WORKFLOW ORCHESTRATION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ run_workflow(file_path, "notes-llm") called from app.py โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LangGraph creates FinancialAgentState with file_path โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LangGraph invokes generate_llm_notes tool โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ DATA EXTRACTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 1: Run llm_notes_data_processor.py via subprocess โ | |
| โ - Calls extract_trial_balance_data(file_path) โ | |
| โ - Processes Excel trial balance data โ | |
| โ - Creates structured trial balance records โ | |
| โ - Saves to data/output1/parsed_trial_balance.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค LLM PROCESSING PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 2: Run llm_notes_generator.py via subprocess โ | |
| โ - Loads parsed_trial_balance.json โ | |
| โ - Uses FlexibleFinancialNoteGenerator class โ | |
| โ - Calls OpenRouter API with Mistral AI models: โ | |
| โ * Primary: mistralai/mixtral-8x7b-instruct โ | |
| โ * Fallback: mistralai/mistral-7b-instruct-v0.2 โ | |
| โ - Generates intelligent financial notes using LLM โ | |
| โ - Supports specific note numbers or all notes โ | |
| โ - Saves to data/generated_notes/notes.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ EXCEL GENERATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 3: Run llm_notes_excel_converter.py via subprocess โ | |
| โ - Loads data/generated_notes/notes.json โ | |
| โ - Applies normalize_llm_notes_json() transformation โ | |
| โ - Creates professional Excel format with formatting โ | |
| โ - Adds headers and styling for financial notes โ | |
| โ - Saves to data/generated_notes_excel/notes.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โ VALIDATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LLM Response Validation โ | |
| โ - Validates JSON structure from LLM response โ | |
| โ - Checks for required note fields and data completeness โ | |
| โ - Verifies account classifications and amounts โ | |
| โ - Logs validation results and any parsing issues โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค OUTPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LangGraph returns success with output_xlsx_path โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI creates FileResponse with notes Excel file โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client downloads LLM-generated financial notes Excel โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ฆ **Part 2: Balance Sheet Generation (Simple Flow)** | |
| ``` | |
| ๐ฅ INPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client uploads Excel Trial Balance file โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /bs request to FastAPI โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ File saved to data/input/{filename} โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ WORKFLOW ORCHESTRATION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ run_workflow(file_path, "bs") from LangGraph โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LangGraph invokes generate_balance_sheet tool โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ DATA EXTRACTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 1: Run balance_sheet_data_extractor.py via subprocess โ | |
| โ - Extracts trial balance data โ | |
| โ - Processes account classifications โ | |
| โ - Creates clean_financial_data_bs.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 2: Run csv_json_bs.py via subprocess โ | |
| โ - Converts extracted data to structured format โ | |
| โ - Applies business logic and validations โ | |
| โ - Prepares data for balance sheet generation โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐๏ธ BALANCE SHEET GENERATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 3: Run sircodebs.py via subprocess โ | |
| โ - Loads clean_financial_data_bs.json โ | |
| โ - Uses EnhancedBalanceSheetGenerator class โ | |
| โ - Extracts data using template structure โ | |
| โ - Applies AI-assisted extraction if needed โ | |
| โ - Calculates totals and balances โ | |
| โ - Validates balance sheet equation โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ EXCEL FORMATTING PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Balance Sheet Excel Generation โ | |
| โ - Creates professional Excel format โ | |
| โ - Applies corporate styling and formatting โ | |
| โ - Adds headers: "BALANCE SHEET As at March 31, 2024" โ | |
| โ - Structures: Equity & Liabilities vs Assets โ | |
| โ - Saves to data/output/balance_sheet_{timestamp}.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โ VALIDATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Balance Sheet Validation โ | |
| โ - Verifies Assets = Equity + Liabilities โ | |
| โ - Checks for balance differences โ | |
| โ - Logs validation results โ | |
| โ - Reports any discrepancies โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค OUTPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI locates first .xlsx file in data/output/ โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FileResponse created with balance sheet Excel file โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client downloads professional balance sheet โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ฐ **Part 3: P&L Generation (Simple Flow)** | |
| ``` | |
| ๐ฅ INPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client uploads Excel Trial Balance file โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /pnl request to FastAPI โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ File saved to data/input/{filename} โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ WORKFLOW ORCHESTRATION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ run_workflow(file_path, "pnl") from LangGraph โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LangGraph invokes generate_pnl_statement tool โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ DATA EXTRACTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 1: Run PnL data extraction subprocess โ | |
| โ - Processes trial balance Excel file โ | |
| โ - Identifies revenue and expense accounts โ | |
| โ - Extracts income statement line items โ | |
| โ - Creates structured PnL data โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 2: Account Classification โ | |
| โ - Maps accounts using config/mapping1.json โ | |
| โ - Applies rules from config/rules1.json โ | |
| โ - Categorizes into: Revenue, COGS, Operating Expenses โ | |
| โ - Separates Other Income and Finance Costs โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐งฎ PNL CALCULATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Revenue Calculations โ | |
| โ - Revenue from Operations (Sales, Service Income) โ | |
| โ - Other Income (Interest, Gains) โ | |
| โ - Total Income calculation โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Expense Calculations โ | |
| โ - Cost of Materials Consumed โ | |
| โ - Employee Benefits Expense โ | |
| โ - Finance Costs โ | |
| โ - Depreciation and Amortization โ | |
| โ - Other Expenses โ | |
| โ - Total Expenses calculation โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Profit Calculations โ | |
| โ - EBITDA = Total Income - Operating Expenses โ | |
| โ - EBIT = EBITDA - Depreciation & Amortization โ | |
| โ - PBT = EBIT - Finance Costs โ | |
| โ - PAT = PBT - Tax Expense โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ EXCEL GENERATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ P&L Statement Excel Creation โ | |
| โ - Creates professional P&L format โ | |
| โ - Headers: "PROFIT AND LOSS STATEMENT" โ | |
| โ - Period: "For the year ended March 31, 2024" โ | |
| โ - Comparative columns: Current Year vs Previous Year โ | |
| โ - Applies accounting formatting and styling โ | |
| โ - Saves to data/pnl_statement.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค OUTPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI creates FileResponse with pnl_statement.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client downloads P&L statement Excel file โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ง **Part 4: Cash Flow Generation (Simple Flow)** | |
| ``` | |
| ๐ฅ INPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client uploads Excel Trial Balance file โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /cf request to FastAPI โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ File saved to data/input/{filename} โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ WORKFLOW ORCHESTRATION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ run_workflow(file_path, "cf") from LangGraph โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LangGraph invokes generate_cash_flow_statement tool โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ DATA EXTRACTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 1: Run cf_middlestep.py via subprocess โ | |
| โ - Executes FinancialDataExtractor class โ | |
| โ - Loads trial balance data โ | |
| โ - Extracts P&L data (Profit, Depreciation, Interest) โ | |
| โ - Extracts Working Capital changes โ | |
| โ - Extracts Investing Activities data โ | |
| โ - Extracts Financing Activities data โ | |
| โ - Creates data/extracted_cfs_data.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐งฎ CASH FLOW CALCULATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Operating Activities Calculations โ | |
| โ - Start with Profit Before Tax (PBT) โ | |
| โ - Add: Depreciation and Amortization โ | |
| โ - Less: Interest Income โ | |
| โ - Operating Profit Before Working Capital Changes โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Working Capital Movements โ | |
| โ - (Increase)/Decrease in Trade Receivables โ | |
| โ - (Increase)/Decrease in Inventories โ | |
| โ - (Increase)/Decrease in Other Current Assets โ | |
| โ - Increase/(Decrease) in Trade Payables โ | |
| โ - Increase/(Decrease) in Other Current Liabilities โ | |
| โ - Cash Generated from Operations โ | |
| โ - Less: Direct Taxes Paid โ | |
| โ - Net Cash Flow from Operating Activities โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Investing Activities Calculations โ | |
| โ - Purchase of Fixed Assets (Outflow) โ | |
| โ - Sale of Fixed Assets (Inflow) โ | |
| โ - Interest Income (Inflow) โ | |
| โ - Net Cash Flow from Investing Activities โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Financing Activities Calculations โ | |
| โ - Proceeds from Long Term Borrowings โ | |
| โ - Repayment of Long Term Borrowings โ | |
| โ - Dividend Paid (Outflow) โ | |
| โ - Net Cash Flow from Financing Activities โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Net Cash Flow Calculation โ | |
| โ - Net Increase/Decrease in Cash = Operating + Investing + โ | |
| โ Financing โ | |
| โ - Cash at Beginning of Year โ | |
| โ - Cash at End of Year โ | |
| โ - Verification of Cash Reconciliation โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ EXCEL GENERATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Step 2: Run cf_generation.py via subprocess โ | |
| โ - Loads extracted_cfs_data.json โ | |
| โ - Uses CashFlowStatementGenerator class โ | |
| โ - Creates professional Excel format โ | |
| โ - Headers: "CASH FLOW STATEMENT" โ | |
| โ - Period: "For the year ended March 31, 2024" โ | |
| โ - Three main sections: Operating, Investing, Financing โ | |
| โ - Components of Cash and Cash Equivalents โ | |
| โ - Applies professional styling and formatting โ | |
| โ - Saves to data/cash_flow_statements.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โ VALIDATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Cash Flow Validation โ | |
| โ - Verifies Net Change = Ending Cash - Beginning Cash โ | |
| โ - Checks mathematical accuracy of all sections โ | |
| โ - Validates working capital calculations โ | |
| โ - Reports any discrepancies or balancing issues โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค OUTPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI creates FileResponse with cash_flow_statements.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client downloads professional cash flow statement โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ค **Part 5: Notes Generation (RLHF-Enhanced Flow)** | |
| ``` | |
| ๐ฅ INPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client uploads Excel Trial Balance file โ | |
| โ Streamlit checkbox: "Use RLHF" = TRUE โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /notes?use_rlhf=true request to FastAPI โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI saves file to data/input/{filename} โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค RLHF WORKFLOW ORCHESTRATION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ run_rlhf_workflow(file_path, "notes") called from app.py โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ RLHFWorkflowManager creates RLHFFinancialAgentState โ | |
| โ - statement_id: uuid.uuid4() โ | |
| โ - file_path: input file path โ | |
| โ - candidates_generated: [] โ | |
| โ - best_candidate_index: None โ | |
| โ - predicted_quality: None โ | |
| โ - confidence_score: None โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ CANDIDATE GENERATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Check if Reward Model is Trained โ | |
| โ if self.reward_model.is_trained: Generate 3 Candidates โ | |
| โ else: Generate Single Statement โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 1 GENERATION โ | |
| โ _generate_candidates() calls generate_notes_full_pipeline_ โ | |
| โ from_path(file_path) with slight variations: โ | |
| โ - Same data extraction process โ | |
| โ - extract_trial_balance_data(file_location) โ | |
| โ - analyze_and_save_results() โ parsed_trial_balance.json โ | |
| โ - process_json() with LLM variation 1 โ | |
| โ - json_to_xlsx() โ candidate_1_notes.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 2 GENERATION โ | |
| โ Second call to generate_notes_full_pipeline_from_path(): โ | |
| โ - Same extraction and analysis โ | |
| โ - Different LLM prompt variations or temperature โ | |
| โ - Slightly different note generation approach โ | |
| โ - json_to_xlsx() โ candidate_2_notes.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 3 GENERATION โ | |
| โ Third call to generate_notes_full_pipeline_from_path(): โ | |
| โ - Same extraction process โ | |
| โ - Third variation in LLM processing โ | |
| โ - Alternative formatting or structure โ | |
| โ - json_to_xlsx() โ candidate_3_notes.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ฏ QUALITY PREDICTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Feature Extraction for Candidate 1 โ | |
| โ reward_model.extract_features(): โ | |
| โ - File size and processing time metrics โ | |
| โ - Content analysis (word count, structure complexity) โ | |
| โ - Domain-specific metrics (account categories count) โ | |
| โ - Balance verification accuracy โ | |
| โ - Metadata features (statement type, complexity) โ | |
| โ โ Feature Vector 1 (16 dimensions) โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Quality Prediction for Candidate 1 โ | |
| โ RandomForestRegressor.predict(features_1): โ | |
| โ - Model trained on human feedback data โ | |
| โ - Predicts quality score (1.0-5.0 scale) โ | |
| โ - Calculates confidence score โ | |
| โ โ Predicted Quality: 3.2, Confidence: 0.85 โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Feature Extraction & Prediction for Candidate 2 โ | |
| โ โ Predicted Quality: 4.1, Confidence: 0.92 โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Feature Extraction & Prediction for Candidate 3 โ | |
| โ โ Predicted Quality: 3.8, Confidence: 0.88 โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ BEST CANDIDATE SELECTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ _select_best_candidate() Analysis: โ | |
| โ - Compare quality scores: [3.2, 4.1, 3.8] โ | |
| โ - Compare confidence scores: [0.85, 0.92, 0.88] โ | |
| โ - Select highest quality with sufficient confidence โ | |
| โ โ Best Candidate: #2 (Quality: 4.1, Confidence: 0.92) โ | |
| โ - best_candidate_index = 1 โ | |
| โ - predicted_quality = 4.1 โ | |
| โ - confidence_score = 0.92 โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐พ STATEMENT STORAGE PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ feedback_manager.store_generated_statement(): โ | |
| โ - statement_id: uuid.uuid4() โ | |
| โ - statement_type: "notes" โ | |
| โ - file_path: original input file โ | |
| โ - output_path: selected candidate Excel path โ | |
| โ - generation_time: end_time - start_time โ | |
| โ - predicted_quality: 4.1 โ | |
| โ - confidence_score: 0.92 โ | |
| โ - metadata: {candidates_count: 3, best_index: 1} โ | |
| โ โ Stored in data/feedback/generated_statements.json โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค ENHANCED OUTPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI creates FileResponse with best candidate Excel โ | |
| โ + Enhanced Headers: โ | |
| โ - X-RLHF-Statement-ID: uuid-123 โ | |
| โ - X-RLHF-Quality-Score: 4.1 โ | |
| โ - X-RLHF-Confidence: 0.92 โ | |
| โ - Content-Disposition: attachment; filename=notes.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client receives highest-quality notes with RLHF metadata โ | |
| โ Streamlit displays RLHF information to user โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ๐ FEEDBACK COLLECTION PHASE (Asynchronous) | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Human reviewer accesses /rlhf/pending-reviews โ | |
| โ Reviews generated notes statement โ | |
| โ Submits feedback via /rlhf/feedback: โ | |
| โ - statement_id: uuid-123 โ | |
| โ - calculation_accuracy: 4 (1-5 scale) โ | |
| โ - account_classification: 5 โ | |
| โ - statement_balance: 4 โ | |
| โ - accounting_standards: 4 โ | |
| โ - regulatory_compliance: 5 โ | |
| โ - completeness: 4 โ | |
| โ - professional_presentation: 4 โ | |
| โ - would_accept_for_audit: true โ | |
| โ - specific_errors: "Minor formatting in note headers" โ | |
| โ โ overall_score: (4+5+4+4+5+4+4)/7 = 4.29 โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ MODEL IMPROVEMENT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ feedback_manager.store_feedback() saves human evaluation โ | |
| โ RLHFTrainer.periodic_training_check(): โ | |
| โ - Check if enough samples for retraining (min 2-5) โ | |
| โ - If yes: Extract features + feedback for all statements โ | |
| โ - Retrain RandomForestRegressor with new feedback data โ | |
| โ - Update model weights and save to data/models/ โ | |
| โ - Log training metrics (Rยฒ, MSE, feature importance) โ | |
| โ โ Next statements will have improved quality predictions โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ค **Part 5.5: LLM Notes Generation (RLHF-Enhanced Flow)** | |
| ``` | |
| ๐ฅ INPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client uploads Excel Trial Balance file โ | |
| โ Streamlit checkbox: "Use RLHF" = TRUE โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /notes-llm?use_rlhf=true request to FastAPI โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI saves file to data/input/{filename} โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค RLHF WORKFLOW ORCHESTRATION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ run_rlhf_workflow(file_path, "notes-llm") called from app.pyโ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ RLHFWorkflowManager creates RLHFFinancialAgentState โ | |
| โ - statement_id: uuid.uuid4() โ | |
| โ - statement_type: "notes-llm" โ | |
| โ - candidates_generated: [] โ | |
| โ - best_candidate_index: None โ | |
| โ - predicted_quality: None โ | |
| โ - confidence_score: None โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ CANDIDATE GENERATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Check if Reward Model is Trained โ | |
| โ if self.reward_model.is_trained: Generate 3 Candidates โ | |
| โ else: Generate Single Statement โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 1 GENERATION โ | |
| โ _generate_candidates() calls generate_llm_notes(): โ | |
| โ - Run llm_notes_data_processor.py (variant 1) โ | |
| โ - Apply different extraction parameters โ | |
| โ - llm_notes_generator.py with prompt variation 1: โ | |
| โ * Different LLM temperature or instructions โ | |
| โ * Alternative note structure approach โ | |
| โ - llm_notes_excel_converter.py with formatting style 1 โ | |
| โ โ candidate_1_notes_llm.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 2 GENERATION โ | |
| โ Second call to generate_llm_notes(): โ | |
| โ - Same data extraction process โ | |
| โ - Different LLM model selection strategy: โ | |
| โ * Prefer Mixtral 8x7B over Mistral 7B โ | |
| โ * Alternative prompt engineering โ | |
| โ - Different Excel formatting and styling options โ | |
| โ โ candidate_2_notes_llm.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 3 GENERATION โ | |
| โ Third call to generate_llm_notes(): โ | |
| โ - Same extraction foundation โ | |
| โ - Third LLM approach with different parameters: โ | |
| โ * Varied max_tokens and temperature settings โ | |
| โ * Alternative account classification prompts โ | |
| โ - Enhanced Excel formatting with different styling โ | |
| โ โ candidate_3_notes_llm.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ฏ QUALITY PREDICTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LLM Notes Specific Feature Extraction: โ | |
| โ reward_model.extract_features() for each candidate: โ | |
| โ - LLM response quality and coherence metrics โ | |
| โ - Account classification accuracy in generated notes โ | |
| โ - Note completeness and structure validation โ | |
| โ - Professional formatting quality assessment โ | |
| โ - Content relevance to financial statement requirements โ | |
| โ - Processing time and API call efficiency โ | |
| โ - JSON structure validity and parsing success โ | |
| โ โ LLM-specific feature vectors for quality prediction โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Quality Scoring for LLM Notes Candidates: โ | |
| โ RandomForestRegressor predictions with LLM focus: โ | |
| โ - Candidate 1: Quality 3.7, Confidence 0.88 โ | |
| โ - Candidate 2: Quality 4.5, Confidence 0.94 โ | |
| โ - Candidate 3: Quality 4.1, Confidence 0.91 โ | |
| โ LLM-specific quality criteria applied โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ BEST CANDIDATE SELECTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ _select_best_candidate() for LLM Notes: โ | |
| โ - Prioritize LLM response quality and coherence โ | |
| โ - Evaluate account classification accuracy โ | |
| โ - Consider note completeness and professional presentation โ | |
| โ - Assess content relevance and structure โ | |
| โ โ Best Candidate: #2 (Quality: 4.5, Confidence: 0.94) โ | |
| โ - Highest combined score for LLM-generated content โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐พ STATEMENT STORAGE PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Store LLM Notes for Human Review: โ | |
| โ feedback_manager.store_generated_statement(): โ | |
| โ - statement_type: "notes-llm" โ | |
| โ - LLM-specific metadata: โ | |
| โ * llm_model_used: "mistralai/mixtral-8x7b-instruct" โ | |
| โ * api_calls_made: number of OpenRouter API calls โ | |
| โ * notes_generated_count: number of financial notes โ | |
| โ * average_response_time: API response time โ | |
| โ - predicted_quality: 4.5 โ | |
| โ - confidence_score: 0.94 โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค ENHANCED OUTPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI creates FileResponse with best LLM notes candidate โ | |
| โ Enhanced Headers for LLM Notes: โ | |
| โ - X-RLHF-Statement-ID: uuid-456 โ | |
| โ - X-RLHF-Quality-Score: 4.5 โ | |
| โ - X-RLHF-Confidence: 0.94 โ | |
| โ - X-RLHF-LLM-Model: mistralai/mixtral-8x7b-instruct โ | |
| โ - X-RLHF-API-Calls: [count] โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client receives highest-quality LLM notes with RLHF โ | |
| โ metadata including LLM model and API usage information โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ๐ LLM NOTES FEEDBACK COLLECTION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Human reviewer evaluates LLM-generated notes quality: โ | |
| โ LLM Notes specific feedback metrics: โ | |
| โ - calculation_accuracy: Financial calculations (1-5) โ | |
| โ - account_classification: Account grouping accuracy (1-5) โ | |
| โ - statement_balance: Mathematical consistency (1-5) โ | |
| โ - accounting_standards: GAAP/IFRS compliance (1-5) โ | |
| โ - regulatory_compliance: Disclosure requirements (1-5) โ | |
| โ - completeness: All required notes present (1-5) โ | |
| โ - professional_presentation: Note formatting quality (1-5) โ | |
| โ - llm_coherence: Response clarity and logic (1-5) โ | |
| โ - content_relevance: Appropriateness for financials (1-5) โ | |
| โ - would_accept_for_audit: Audit trail approval โ | |
| โ - specific_errors: "LLM hallucinated account classification"โ | |
| โ โ overall_score: LLM-weighted scoring algorithm โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ LLM NOTES MODEL IMPROVEMENT | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LLM Notes specific model enhancement: โ | |
| โ - Improve LLM response quality predictions โ | |
| โ - Enhance account classification accuracy assessment โ | |
| โ - Refine content relevance and coherence metrics โ | |
| โ - Update LLM model performance tracking โ | |
| โ - Optimize prompt engineering based on feedback โ | |
| โ โ Better LLM notes quality predictions for future โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ฆ **Part 6: Balance Sheet Generation (RLHF-Enhanced Flow)** | |
| ``` | |
| ๐ฅ INPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client uploads Excel Trial Balance file โ | |
| โ Streamlit checkbox: "Use RLHF" = TRUE โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /bs?use_rlhf=true request to FastAPI โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI saves file to data/input/{filename} โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค RLHF WORKFLOW ORCHESTRATION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ run_rlhf_workflow(file_path, "bs") called from app.py โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ RLHFWorkflowManager creates RLHFFinancialAgentState โ | |
| โ - statement_id: uuid.uuid4() โ | |
| โ - statement_type: "balance_sheet" โ | |
| โ - Initialize candidate tracking โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ CANDIDATE GENERATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 1 GENERATION โ | |
| โ _generate_candidates() calls generate_balance_sheet(): โ | |
| โ - Run balance_sheet_data_extractor.py (variant 1) โ | |
| โ - Apply different extraction parameters or thresholds โ | |
| โ - csv_json_bs.py with variation 1 โ | |
| โ - sircodebs.py with EnhancedBalanceSheetGenerator โ | |
| โ - Different template structure priority โ | |
| โ - AI-assisted extraction with prompt variation 1 โ | |
| โ โ candidate_1_balance_sheet.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 2 GENERATION โ | |
| โ Second call to generate_balance_sheet(): โ | |
| โ - Same data extraction process โ | |
| โ - Different AI prompt strategy for item extraction โ | |
| โ - Alternative account categorization approach โ | |
| โ - Different balance validation thresholds โ | |
| โ - Varied Excel formatting and styling options โ | |
| โ โ candidate_2_balance_sheet.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 3 GENERATION โ | |
| โ Third call to generate_balance_sheet(): โ | |
| โ - Same extraction pipeline โ | |
| โ - Third AI variation for complex account handling โ | |
| โ - Alternative totaling and validation logic โ | |
| โ - Different professional formatting approach โ | |
| โ โ candidate_3_balance_sheet.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ฏ QUALITY PREDICTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Feature Extraction for Balance Sheet Candidates โ | |
| โ reward_model.extract_features() for each: โ | |
| โ - Balance sheet equation accuracy (Assets = Equity + Liab) โ | |
| โ - Number of line items extracted vs expected โ | |
| โ - Completeness of major sections (Current/Non-current) โ | |
| โ - Professional formatting quality metrics โ | |
| โ - Data consistency checks (zero balances, missing items) โ | |
| โ - Processing time and file size metrics โ | |
| โ โ Feature vectors for quality prediction โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Quality Scoring for Balance Sheet Candidates โ | |
| โ RandomForestRegressor predictions: โ | |
| โ - Candidate 1: Quality 3.4, Confidence 0.89 โ | |
| โ - Candidate 2: Quality 4.3, Confidence 0.94 โ | |
| โ - Candidate 3: Quality 3.9, Confidence 0.87 โ | |
| โ Model considers BS-specific quality factors โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ BEST CANDIDATE SELECTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ _select_best_candidate() for Balance Sheet: โ | |
| โ - Prioritize mathematical accuracy (balance equation) โ | |
| โ - Consider completeness of financial statement sections โ | |
| โ - Evaluate professional presentation quality โ | |
| โ โ Best Candidate: #2 (Quality: 4.3, Confidence: 0.94) โ | |
| โ - Highest combined score for BS-specific metrics โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐พ STATEMENT STORAGE PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Store Balance Sheet for Human Review: โ | |
| โ feedback_manager.store_generated_statement(): โ | |
| โ - statement_type: "balance_sheet" โ | |
| โ - Balance sheet specific metadata: โ | |
| โ * balance_difference: calculated difference โ | |
| โ * total_assets: sum of all assets โ | |
| โ * total_equity_liabilities: sum of equity + liabilities โ | |
| โ * line_items_count: number of extracted items โ | |
| โ - predicted_quality: 4.3 โ | |
| โ - confidence_score: 0.94 โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค ENHANCED OUTPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI locates best candidate balance sheet Excel file โ | |
| โ Enhanced Response Headers: โ | |
| โ - X-RLHF-Statement-ID: uuid-456 โ | |
| โ - X-RLHF-Quality-Score: 4.3 โ | |
| โ - X-RLHF-Confidence: 0.94 โ | |
| โ - X-RLHF-Balance-Accuracy: calculated accuracy % โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client receives highest-quality balance sheet with RLHF โ | |
| โ metadata indicating prediction confidence โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ๐ BALANCE SHEET FEEDBACK COLLECTION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Human reviewer evaluates balance sheet quality: โ | |
| โ BS-specific feedback metrics: โ | |
| โ - calculation_accuracy: Mathematical correctness (1-5) โ | |
| โ - account_classification: Proper Current/Non-current (1-5) โ | |
| โ - statement_balance: Assets = Equity + Liabilities (1-5) โ | |
| โ - accounting_standards: GAAP/IFRS compliance (1-5) โ | |
| โ - regulatory_compliance: Legal requirements (1-5) โ | |
| โ - completeness: All required line items present (1-5) โ | |
| โ - professional_presentation: Format quality (1-5) โ | |
| โ - would_accept_for_audit: Boolean approval โ | |
| โ - specific_errors: "Fixed assets classification issue" โ | |
| โ โ overall_score: Weighted average of all metrics โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ BALANCE SHEET MODEL IMPROVEMENT | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Balance Sheet specific model enhancement: โ | |
| โ - Update feature importance for BS quality factors โ | |
| โ - Improve balance equation accuracy predictions โ | |
| โ - Enhance account classification confidence โ | |
| โ - Refine professional formatting assessment โ | |
| โ โ Better balance sheet quality predictions for future โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ฐ **Part 7: P&L Generation (RLHF-Enhanced Flow)** | |
| ``` | |
| ๐ฅ INPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client uploads Excel Trial Balance file โ | |
| โ Streamlit checkbox: "Use RLHF" = TRUE โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /pnl?use_rlhf=true request to FastAPI โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI saves file to data/input/{filename} โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค RLHF WORKFLOW ORCHESTRATION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ run_rlhf_workflow(file_path, "pnl") called from app.py โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ RLHFWorkflowManager creates RLHFFinancialAgentState โ | |
| โ - statement_type: "profit_and_loss" โ | |
| โ - Initialize P&L specific tracking โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ CANDIDATE GENERATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 1 GENERATION โ | |
| โ _generate_candidates() calls generate_pnl_statement(): โ | |
| โ - Extract trial balance with revenue/expense focus โ | |
| โ - Apply mapping1.json with emphasis on income categories โ | |
| โ - Use rules1.json with P&L specific pattern matching โ | |
| โ - Revenue categorization approach 1: โ | |
| โ * Conservative revenue recognition โ | |
| โ * Detailed expense breakdown โ | |
| โ - Calculate EBITDA, EBIT, PBT, PAT with method 1 โ | |
| โ โ candidate_1_pnl.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 2 GENERATION โ | |
| โ Second call to generate_pnl_statement(): โ | |
| โ - Same data extraction โ | |
| โ - Alternative expense categorization: โ | |
| โ * Different Cost of Materials grouping โ | |
| โ * Alternative Employee Benefits categorization โ | |
| โ * Varied Other Expenses classification โ | |
| โ - Different depreciation calculation approach โ | |
| โ - Alternative profit calculation sequence โ | |
| โ โ candidate_2_pnl.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 3 GENERATION โ | |
| โ Third call to generate_pnl_statement(): โ | |
| โ - Same extraction foundation โ | |
| โ - Third approach to revenue/expense classification โ | |
| โ - Different handling of extraordinary items โ | |
| โ - Alternative tax calculation methodology โ | |
| โ - Varied comparative analysis with previous year โ | |
| โ โ candidate_3_pnl.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ฏ QUALITY PREDICTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ P&L Specific Feature Extraction: โ | |
| โ reward_model.extract_features() for each candidate: โ | |
| โ - Revenue recognition accuracy and completeness โ | |
| โ - Expense categorization correctness โ | |
| โ - Profit calculation accuracy (EBITDA โ EBIT โ PBT โ PAT) โ | |
| โ - Comparative analysis quality (current vs previous year) โ | |
| โ - Compliance with accounting standards โ | |
| โ - Professional formatting and presentation โ | |
| โ - Mathematical consistency checks โ | |
| โ โ P&L specific feature vectors โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Quality Scoring for P&L Candidates: โ | |
| โ RandomForestRegressor predictions with P&L focus: โ | |
| โ - Candidate 1: Quality 3.6, Confidence 0.87 โ | |
| โ - Candidate 2: Quality 4.2, Confidence 0.93 โ | |
| โ - Candidate 3: Quality 3.8, Confidence 0.89 โ | |
| โ P&L specific quality assessment criteria applied โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ BEST CANDIDATE SELECTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ _select_best_candidate() for P&L Statement: โ | |
| โ - Prioritize revenue/expense accuracy โ | |
| โ - Evaluate profit calculation correctness โ | |
| โ - Consider accounting standards compliance โ | |
| โ - Assess comparative analysis quality โ | |
| โ โ Best Candidate: #2 (Quality: 4.2, Confidence: 0.93) โ | |
| โ - Optimal balance of accuracy and presentation โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐พ STATEMENT STORAGE PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Store P&L Statement for Human Review: โ | |
| โ feedback_manager.store_generated_statement(): โ | |
| โ - statement_type: "profit_and_loss" โ | |
| โ - P&L specific metadata: โ | |
| โ * total_revenue: calculated total income โ | |
| โ * total_expenses: calculated total costs โ | |
| โ * net_profit: final PAT calculation โ | |
| โ * expense_categories_count: number of expense types โ | |
| โ - predicted_quality: 4.2 โ | |
| โ - confidence_score: 0.93 โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค ENHANCED OUTPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI creates FileResponse with best P&L candidate โ | |
| โ Enhanced Headers for P&L: โ | |
| โ - X-RLHF-Statement-ID: uuid-789 โ | |
| โ - X-RLHF-Quality-Score: 4.2 โ | |
| โ - X-RLHF-Confidence: 0.93 โ | |
| โ - X-RLHF-Profit-Accuracy: calculated accuracy metric โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client receives highest-quality P&L with RLHF metadata โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ๐ P&L FEEDBACK COLLECTION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Human reviewer evaluates P&L statement quality: โ | |
| โ P&L specific feedback metrics: โ | |
| โ - calculation_accuracy: Revenue/expense calculations (1-5) โ | |
| โ - account_classification: Proper income/expense grouping โ | |
| โ - statement_balance: Mathematical consistency (1-5) โ | |
| โ - accounting_standards: Revenue recognition standards (1-5)โ | |
| โ - regulatory_compliance: P&L reporting requirements (1-5) โ | |
| โ - completeness: All income/expense items present (1-5) โ | |
| โ - professional_presentation: P&L format quality (1-5) โ | |
| โ - would_accept_for_audit: Audit trail approval โ | |
| โ - specific_errors: "Depreciation calculation method" โ | |
| โ โ overall_score: P&L weighted scoring algorithm โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ P&L MODEL IMPROVEMENT | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ P&L specific model enhancement: โ | |
| โ - Improve revenue recognition accuracy predictions โ | |
| โ - Enhance expense categorization algorithms โ | |
| โ - Refine profit calculation sequence assessment โ | |
| โ - Update comparative analysis quality metrics โ | |
| โ โ Better P&L quality predictions for future statements โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ง **Part 8: Cash Flow Generation (RLHF-Enhanced Flow)** | |
| ``` | |
| ๐ฅ INPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client uploads Excel Trial Balance file โ | |
| โ Streamlit checkbox: "Use RLHF" = TRUE โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /cf?use_rlhf=true request to FastAPI โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI saves file to data/input/{filename} โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค RLHF WORKFLOW ORCHESTRATION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ run_rlhf_workflow(file_path, "cf") called from app.py โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ RLHFWorkflowManager creates RLHFFinancialAgentState โ | |
| โ - statement_type: "cash_flow" โ | |
| โ - Initialize Cash Flow specific tracking โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ CANDIDATE GENERATION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 1 GENERATION โ | |
| โ _generate_candidates() calls generate_cash_flow_statement():โ | |
| โ - cf_middlestep.py execution with approach 1: โ | |
| โ * FinancialDataExtractor with default parameters โ | |
| โ * Standard working capital calculation method โ | |
| โ * Conservative approach to cash flow classifications โ | |
| โ - cf_generation.py with formatting style 1: โ | |
| โ * Standard CashFlowStatementGenerator โ | |
| โ * Traditional indirect method presentation โ | |
| โ โ candidate_1_cash_flow.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 2 GENERATION โ | |
| โ Second call to generate_cash_flow_statement(): โ | |
| โ - cf_middlestep.py with alternative approach: โ | |
| โ * Different working capital change calculations โ | |
| โ * Alternative depreciation and amortization handling โ | |
| โ * Varied investing activities categorization โ | |
| โ - cf_generation.py with enhanced formatting: โ | |
| โ * More detailed cash flow line items โ | |
| โ * Enhanced reconciliation and validation โ | |
| โ โ candidate_2_cash_flow.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CANDIDATE 3 GENERATION โ | |
| โ Third call to generate_cash_flow_statement(): โ | |
| โ - cf_middlestep.py with comprehensive approach: โ | |
| โ * Detailed operating activities breakdown โ | |
| โ * Alternative financing activities treatment โ | |
| โ * Enhanced cash equivalents definition โ | |
| โ - cf_generation.py with advanced formatting: โ | |
| โ * Comprehensive components of cash section โ | |
| โ * Advanced validation and cross-checks โ | |
| โ โ candidate_3_cash_flow.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ฏ QUALITY PREDICTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Cash Flow Specific Feature Extraction: โ | |
| โ reward_model.extract_features() for each candidate: โ | |
| โ - Cash flow reconciliation accuracy โ | |
| โ - Operating activities calculation correctness โ | |
| โ - Working capital changes validation โ | |
| โ - Investing activities completeness โ | |
| โ - Financing activities accuracy โ | |
| โ - Net cash flow mathematical consistency โ | |
| โ - Beginning/ending cash reconciliation โ | |
| โ - Components of cash and equivalents detail โ | |
| โ โ Cash flow specific feature vectors โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Quality Scoring for Cash Flow Candidates: โ | |
| โ RandomForestRegressor predictions with CF focus: โ | |
| โ - Candidate 1: Quality 3.5, Confidence 0.86 โ | |
| โ - Candidate 2: Quality 4.4, Confidence 0.95 โ | |
| โ - Candidate 3: Quality 4.0, Confidence 0.91 โ | |
| โ Cash flow specific quality criteria emphasized โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ BEST CANDIDATE SELECTION PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ _select_best_candidate() for Cash Flow Statement: โ | |
| โ - Prioritize cash reconciliation accuracy โ | |
| โ - Evaluate mathematical consistency across sections โ | |
| โ - Consider working capital calculation precision โ | |
| โ - Assess comprehensive activity coverage โ | |
| โ โ Best Candidate: #2 (Quality: 4.4, Confidence: 0.95) โ | |
| โ - Highest accuracy in cash flow methodology โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐พ STATEMENT STORAGE PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Store Cash Flow Statement for Human Review: โ | |
| โ feedback_manager.store_generated_statement(): โ | |
| โ - statement_type: "cash_flow" โ | |
| โ - Cash Flow specific metadata: โ | |
| โ * operating_cash_flow: net cash from operations โ | |
| โ * investing_cash_flow: net cash from investing โ | |
| โ * financing_cash_flow: net cash from financing โ | |
| โ * net_cash_change: total change in cash โ | |
| โ * cash_reconciliation_accuracy: percentage match โ | |
| โ - predicted_quality: 4.4 โ | |
| โ - confidence_score: 0.95 โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค ENHANCED OUTPUT PHASE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI creates FileResponse with best CF candidate โ | |
| โ Enhanced Headers for Cash Flow: โ | |
| โ - X-RLHF-Statement-ID: uuid-012 โ | |
| โ - X-RLHF-Quality-Score: 4.4 โ | |
| โ - X-RLHF-Confidence: 0.95 โ | |
| โ - X-RLHF-Cash-Reconciliation: reconciliation percentage โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Client receives highest-quality Cash Flow with RLHF data โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ๐ CASH FLOW FEEDBACK COLLECTION | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Human reviewer evaluates Cash Flow statement quality: โ | |
| โ Cash Flow specific feedback metrics: โ | |
| โ - calculation_accuracy: Cash flow calculations (1-5) โ | |
| โ - account_classification: Activity categorization (1-5) โ | |
| โ - statement_balance: Cash reconciliation accuracy (1-5) โ | |
| โ - accounting_standards: Cash flow standards compliance(1-5)โ | |
| โ - regulatory_compliance: CF reporting requirements (1-5) โ | |
| โ - completeness: All activities and components covered (1-5)โ | |
| โ - professional_presentation: CF format quality (1-5) โ | |
| โ - would_accept_for_audit: Cash flow audit acceptance โ | |
| โ - specific_errors: "Working capital calculation method" โ | |
| โ โ overall_score: Cash flow weighted scoring algorithm โ | |
| โโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ CASH FLOW MODEL IMPROVEMENT | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Cash Flow specific model enhancement: โ | |
| โ - Improve cash reconciliation accuracy predictions โ | |
| โ - Enhance working capital change calculations โ | |
| โ - Refine activity classification algorithms โ | |
| โ - Update cash flow methodology assessment โ | |
| โ โ Better Cash Flow quality predictions for future โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ๐ CONTINUOUS IMPROVEMENT CYCLE | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| โ All 4 RLHF Statement Types Feed into Model Improvement: โ | |
| โ - Notes feedback โ Note generation quality enhancement โ | |
| โ - Balance Sheet feedback โ BS accuracy improvement โ | |
| โ - P&L feedback โ Revenue/expense classification refinement โ | |
| โ - Cash Flow feedback โ Cash reconciliation enhancement โ | |
| โ โ | |
| โ Cross-Statement Learning: โ | |
| โ - Common quality patterns across all statement types โ | |
| โ - Professional presentation standards โ | |
| โ - Accounting compliance improvements โ | |
| โ - Mathematical accuracy enhancements โ | |
| โ โ | |
| โ โ Unified Financial Statement Quality Prediction Model โ | |
| โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ **RLHF Enhanced Processing Flow** | |
| ``` | |
| ๐ค CLIENT REQUEST | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /pnl? โ | |
| โ use_rlhf=true โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ FastAPI Endpoint โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ RLHF Workflow โ | |
| โ Manager โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ฏ CANDIDATE GENERATION | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Generate P&L โ | |
| โ Statement โ | |
| โ [Candidate 1] โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Generate P&L โ | |
| โ Statement โ | |
| โ [Candidate 2] โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Generate P&L โ | |
| โ Statement โ | |
| โ [Candidate 3] โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค QUALITY PREDICTION | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Reward Model โ | |
| โ predict_quality() โ | |
| โ โ | |
| โ Candidate 1: 3.2 โ | |
| โ Confidence: 0.85 โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Reward Model โ | |
| โ predict_quality() โ | |
| โ โ | |
| โ Candidate 2: 4.1 โ | |
| โ Confidence: 0.92 โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Reward Model โ | |
| โ predict_quality() โ | |
| โ โ | |
| โ Candidate 3: 3.8 โ | |
| โ Confidence: 0.88 โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐๏ธ BEST SELECTION | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ select_best_ โ | |
| โ candidate() โ | |
| โ โ | |
| โ โ Candidate 2 โ | |
| โ (Highest Score) โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Feedback Manager โ | |
| โ store_generated_ โ | |
| โ statement() โ | |
| โ โ | |
| โ โ Statement ID: โ | |
| โ uuid-123 โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ค RESPONSE TO CLIENT | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Excel File + โ | |
| โ RLHF Headers: โ | |
| โ โ | |
| โ X-Statement-ID โ | |
| โ X-Quality-Score โ | |
| โ X-Confidence โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ฅ HUMAN REVIEW CYCLE | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Human Reviews โ | |
| โ Statement โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ POST /rlhf/feedback โ | |
| โ โ | |
| โ Statement-ID: 123 โ | |
| โ Ratings: 1-5 scale โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Feedback Manager โ | |
| โ store_feedback() โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Reward Model โ | |
| โ trigger_retraining_ โ | |
| โ if_needed() โ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ ๏ธ **Component Interaction Flow** | |
| ``` | |
| ๐ก API LAYER | |
| โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ | |
| โ FastAPI โ โ RLHF โ | |
| โ App โ โ Routes โ | |
| โโโโโโโโฌโโโโโโโ โโโโโโโโฌโโโโโโโ | |
| โ โ | |
| โผ โผ | |
| ๐ WORKFLOW LAYER | |
| โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ | |
| โ LangGraph โ โ RLHF โ | |
| โ Workflows โ โ Workflows โ | |
| โโโโโโโโฌโโโโโโโ โโโโโโโโฌโโโโโโโ | |
| โ โ | |
| โโโโโโโฌโโโโโโโโโโโโโ | |
| โผ | |
| ๐ ๏ธ TOOLS LAYER | |
| โโโโโโโโโโโโโโโ | |
| โ Simple โ | |
| โ Tools โ | |
| โโโโโโโโฌโโโโโโโ | |
| โ | |
| โโโโดโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโ | |
| โผ โผ โผ โผ | |
| โโโโโโโโโโโ โโโโโโโโโโโ โโโโโโโโโโโ โโโโโโโโโโโ | |
| โ BS โ โ PnL โ โ CF โ โ Notes โ | |
| โ Tool โ โ Tool โ โ Tool โ โ Tool โ | |
| โโโโโโฌโโโโโ โโโโโโฌโโโโโ โโโโโโฌโโโโโ โโโโโโฌโโโโโ | |
| โ โ โ โ | |
| โโโโโโโโฌโโโโโโโโดโโโโโโโฌโโโโโโโโดโโโโโโโฌโโโโโโโโ | |
| โผ โผ โผ | |
| โ๏ธ PROCESSING LAYER | |
| โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ | |
| โ Data โ โ Data โ โ Excel โ | |
| โ Extraction โ โ Processing โ โ Formatting โ | |
| โโโโโโโโฌโโโโโโโ โโโโโโโโฌโโโโโโโ โโโโโโโโฌโโโโโโโ | |
| โ โ โ | |
| โโโโโโโฌโโโโโโโโโโโโโดโโโโโโฌโโโโโโโโโโโโโ | |
| โผ โผ | |
| ๐ค RLHF LAYER | |
| โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ | |
| โ Feedback โ โ Reward โ โ RLHF โ | |
| โ Manager โ โ Model โ โ Trainer โ | |
| โโโโโโโโฌโโโโโโโ โโโโโโโโฌโโโโโโโ โโโโโโโโฌโโโโโโโ | |
| โ โ โ | |
| โโโโโโโฌโโโโโโโโโโโโโดโโโโโโฌโโโโโโโโโโโโโ | |
| โผ โผ | |
| ๐พ STORAGE LAYER | |
| โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ | |
| โ JSON โ โ Excel โ โ Feedback โ โ Model โ | |
| โ Storage โ โ Output โ โ Database โ โ Storage โ | |
| โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ | |
| ``` | |
| ## ๐ **RLHF Training & Improvement Cycle** | |
| ``` | |
| ๐ฏ START | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Statement Generationโ | |
| โ Request โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ RLHF Enabled โ | |
| โ (?) โ | |
| โโโโโโโฌโโโโโโโโโโฌโโโโโโ | |
| โ โ | |
| NOโ โYES | |
| โผ โผ | |
| โโโโโโโโโโโโ โโโโโโโโโโโโ | |
| โ Standard โ โ RLHF โ | |
| โ Workflow โ โ Workflow โ | |
| โโโโโโโฌโโโโโ โโโโโโโฌโโโโโ | |
| โ โ | |
| โผ โผ | |
| โโโโโโโโโโโโ โโโโโโโโโโโโ | |
| โ Generate โ โGenerate 3โ | |
| โ Single โ โCandidatesโ | |
| โStatement โ โ โ | |
| โโโโโโโฌโโโโโ โโโโโโโฌโโโโโ | |
| โ โ | |
| โโโโโโโฌโโโโโโโ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Extract Features โ | |
| โ for Each Candidate โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Predict Quality โ | |
| โ Scores โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Select Best โ | |
| โ Candidate โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Store for Feedback โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Excel Output โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐ฅ HUMAN FEEDBACK | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Human Review โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Feedback Form โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Collect Ratings โ | |
| โ (1-5 scale) โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| ๐พ FEEDBACK STORAGE | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Feedback Database โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Enough Samples โ | |
| โ (?) โ | |
| โโโโโโโฌโโโโโโโโโโฌโโโโโโ | |
| โ โ | |
| NOโ โYES | |
| โผ โผ | |
| โโโโโโโโโโโโ โโโโโโโโโโโโ | |
| โ Wait โ โ Retrain โ | |
| โ for โ โ Reward โ | |
| โ More โ โ Model โ | |
| โFeedback โ โ โ | |
| โโโโโโโฌโโโโโ โโโโโโโฌโโโโโ | |
| โ โ | |
| โโโโโโโ โผ | |
| โ โโโโโโโโโโโโ | |
| โ โ Update โ | |
| โ โ Model โ | |
| โ โ Weights โ | |
| โ โโโโโโโฌโโโโโ | |
| โ โ | |
| โ โผ | |
| โ โโโโโโโโโโโโ | |
| โ โ Improved โ | |
| โ โPredictionsโ | |
| โ โโโโโโโฌโโโโโ | |
| โ โ | |
| โโโโโโโโโผโโโโโโโโโโ | |
| โ โ | |
| โโโโโโโโโโโ โ | |
| โผ โ | |
| (Back to Human) โ | |
| โ | |
| โโโโโโโโโโโโโโโโโ | |
| โผ | |
| (Back to RLHF Start) | |
| ``` | |
| ## ๐ฏ **Statement Type Processing Flows** | |
| ``` | |
| ๐ NOTES GENERATION | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Trial Balance Excel โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โextract_trial_ โ | |
| โbalance_data โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โanalyze_and_save_ โ | |
| โresults โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ process_json โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ LLM Notes Generationโ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ JSON Normalization โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ json_to_xlsx โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ final_output.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| ๐ BALANCE SHEET | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Trial Balance Excel โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ BS Data Extractor โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โclean_financial_ โ | |
| โdata_bs.json โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ BS Generator โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Excel Formatting โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ balance_sheet.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| ๐ฐ P&L STATEMENT | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Trial Balance Excel โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ PnL Data Processing โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ PnL Calculations โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Excel Export โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ pnl_statement.xlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| ๐ง CASH FLOW | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Trial Balance Excel โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ CF Data Processor โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โextracted_cfs_ โ | |
| โdata.json โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โCF Statement โ | |
| โGenerator โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โ Excel Formatting โ | |
| โโโโโโโโโโโฌโโโโโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| โcash_flow_statements.โ | |
| โxlsx โ | |
| โโโโโโโโโโโโโโโโโโโโโโโ | |
| ``` | |
| **generator-validator** | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ API Request โ | |
| โ POST /notes-llmโ | |
| โ with file โ | |
| โโโโโโโโโโโฌโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ create_notes_ โ | |
| โ pipeline() โ | |
| โ โ | |
| โ โ LLMNotesGen โ | |
| โ โ NotesValidatorโ | |
| โโโโโโโโโโโฌโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโ | |
| โGenerator-Validatorโโโโโโ Max 3 Attempts โ | |
| โ Pipeline โ โ โ | |
| โ โ โ โ | |
| โ โโโโโโโโโโโโโโโ โ โโโโโโโโโโโโโโโโโโโ | |
| โ โ Attempt โ โ โ No | |
| โ โ Counter=0 โ โ โผ | |
| โ โโโโโโโโโโโโโโโ โ โโโโโโโโโโโโโโโโโโโ | |
| โโโโโโโโโโโฌโโโโโโโโ โ Return Best โ | |
| โ โ Result โ | |
| โผ โโโโโโโโโโโโโโโโโโโ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ Generate โ | |
| โ (LLM) โ | |
| โ โ | |
| โ - Call langgraphโ | |
| โ - Use RLHF if โ | |
| โ requested โ | |
| โ - Track attempt โ | |
| โโโโโโโโโโโฌโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ Validate โ | |
| โ Quality โ | |
| โ โ | |
| โ - File exists โ | |
| โ - Size >1KB โ | |
| โ - Metadata OK โ | |
| โ - RLHF quality โ | |
| โ - Score 0.0-1.0 โ | |
| โโโโโโโโโโโฌโโโโโโโโ | |
| โ | |
| โโโโโโโดโโโโโโ | |
| โ โ | |
| โผ โผ | |
| โโโโโโโโโโโ โโโโโโโโโโโ | |
| โ Valid? โ โ Invalid โ | |
| โ Score โ โ Score โ | |
| โ โฅ0.6 โ โ <0.6 โ | |
| โโโโโโโฌโโโโ โโโโโโโฌโโโโ | |
| โ โ | |
| โผ โผ | |
| โโโโโโโโโโโ โโโโโโโโโโโ | |
| โ Return โ โ Refine โ | |
| โ Success โ โ & Retry โ | |
| โ with โ โ โ | |
| โ Metadata โ โ - Use โ | |
| โ Headers โ โ feedbackโ | |
| โโโโโโโโโโโ โโโโโโโฌโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโ | |
| โIncrement โ | |
| โ Attempt โ | |
| โ Counter โ | |
| โโโโโโโฌโโโโ | |
| โ | |
| โโโโโโโโโโโโโโโ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ Continue to โ | |
| โ Next Attempt โ | |
| โโโโโโโโโโโโโโโโโโโ | |
| **refine and retry** | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ Attempt 1 โ | |
| โ Generate โ | |
| โ โ Validate โ | |
| โ Score: 0.4 โ โ FAIL (< 0.6) | |
| โโโโโโโโโโโฌโโโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ Refinement โ | |
| โ Analysis โ | |
| โ โ | |
| โ Feedback: โ | |
| โ - "Low quality" โ | |
| โ - "Small file" โ | |
| โโโโโโโโโโโฌโโโโโโโโ | |
| โ | |
| โโโโโโโดโโโโโโ | |
| โ โ | |
| โผ โผ | |
| โโโโโโโโโโโ โโโโโโโโโโโ | |
| โQuality โ โOther โ | |
| โIssue? โ โIssue? โ | |
| โ โ โ โ | |
| โ"quality" โ โFile size โ | |
| โin feedbackโ โMetadata โ | |
| โโโโโโโฌโโโโ โโโโโโโฌโโโโ | |
| โ โ | |
| โผ โผ | |
| โโโโโโโโโโโ โโโโโโโโโโโ | |
| โSwitch to โ โSimple โ | |
| โRLHF โ โRetry โ | |
| โMode โ โ โ | |
| โ โ โUse same โ | |
| โuse_rlhf= โ โconfig โ | |
| โtrue โ โ โ | |
| โโโโโโโฌโโโโ โโโโโโโฌโโโโ | |
| โ โ | |
| โโโโโโโฌโโโโโโ | |
| โ | |
| โผ | |
| โโโโโโโโโโโโโโโโโโโ | |
| โ Attempt 2 โ | |
| โ Generate โ | |
| โ (Improved) โ | |
| โ โ Validate โ | |
| โ Score: 0.8 โ โ SUCCESS (โฅ 0.6) | |
| โโโโโโโโโโโโโโโโโโโ |