Update app.py

app.py

@@ -9,6 +9,7 @@ import numpy as np
 import streamlit as st
 import os
 from groq import Groq
+import time
 
 def clean_text(text):
     return re.sub(r'\s+', ' ', text).strip()
@@ -80,10 +81,13 @@ def extract_info(provincia, comune, prezzo_medio_mq, listing):
         info['Vantaggioso'] = False
     return info
 
+def normalize_title(title):
+    return title.lower().replace(',', '').replace('.', '').replace('  ', ' ').replace(' n ', ' ').replace('V. ', 'via ').strip()
+
 # Legge gli ANNUNCI (pagina x pagina) sulla base del COMUNE di appartenenza
 def scrape_immobiliare(provincia, comune, prezzo_medio_mq, prezzo_minimo, prezzo_massimo, locali_minimo, locali_massimo):
     print(provincia + " " + comune + " " + prezzo_medio_mq)
-    comune_url = comune.replace(" ", "-")
+    comune_url = comune.replace(" ", "-").replace("è", "e").replace("é", "e").replace("ò", "o").replace("à", "a").replace("ù", "u").replace("ì", "i")
     if st.tipologia_case == "Asta Immobiliare":
         tipologia_url = "aste-immobiliari"
     else: 
@@ -94,26 +98,35 @@ def scrape_immobiliare(provincia, comune, prezzo_medio_mq, prezzo_minimo, prezzo
     url = base_url
     while True:
         print(f'Elaborazione pagina {page}')
-        response = requests.get(url)
-        soup = BeautifulSoup(response.content, 'html.parser')
-        listings = soup.find_all('li', class_='nd-list__item in-searchLayoutListItem')
-        if not listings:
-            break
-        for listing in listings:
-            results.append(extract_info(provincia, comune, prezzo_medio_mq, listing))
-        pagination = soup.find('div', class_='in-pagination__list')
-        if pagination:
-            next_page = pagination.find('a', class_='in-pagination__item', string=lambda text: text and text.strip().isdigit())
-            if not next_page:
+        try:
+            response = requests.get(url, allow_redirects=True, timeout=10)
+            soup = BeautifulSoup(response.content, 'html.parser')
+            listings = soup.find_all('li', class_='nd-list__item in-searchLayoutListItem')
+            if not listings:
                 break
-        page += 1
-        url = base_url + '&pag=' + str(page)
-
+            for listing in listings:
+                results.append(extract_info(provincia, comune, prezzo_medio_mq, listing))
+            pagination = soup.find('div', class_='in-pagination__list')
+            if pagination:
+                next_page = pagination.find('a', class_='in-pagination__item', string=lambda text: text and text.strip().isdigit())
+                if not next_page:
+                    break
+            page += 1
+            url = base_url + '&pag=' + str(page)
+        except requests.exceptions.TooManyRedirects as e:
+            print(f"Errore: {e}")
+            break
+    if st.tipologia_case == "Acquisto Immobile":
+        results = [obj for obj in results if 'asta' not in obj['Titolo'].lower()]
+    seen_titles = set()
+    results = [
+        obj for obj in results
+        if normalize_title(obj['Titolo']) not in seen_titles and not seen_titles.add(normalize_title(obj['Titolo']))
+    ]        
     return json.dumps(results, ensure_ascii=False, indent=2)
 
 # Restituisce l'elenco dei COMUNI di una Provincia e il PREZZO MEDIO
 def get_elenco_comuni(provincia):
-    print(2)
     base_url = f"https://www.immobiliare.it/mercato-immobiliare/lombardia/{provincia}-provincia/"
     results = []
     print(f'Lettura Comuni e Prezzo Medio al Mq')
@@ -131,11 +144,15 @@ def get_elenco_comuni(provincia):
                 'comune': comune,
                 'prezzo': prezzo_vendita
             })
+    results.append({
+        'provincia': provincia,
+        'comune': "Provincia di " + provincia,
+        'prezzo': '0'
+    })
     return results 
 
 cerca_premuto = False
 comuni_provincia = {}
-print('1')
 
 def scrivi_dataframe(output, riepilogo, comune):
     if len(output) > 0: 
@@ -326,20 +343,31 @@ with st.sidebar:
     if st.session_state.get('comuni_totali') is None:
         comuni_provincia_Brescia = get_elenco_comuni('Brescia')
         comuni_provincia_Bergamo = get_elenco_comuni('Bergamo')
-        comuni_provincia = comuni_provincia_Brescia + comuni_provincia_Bergamo
+        comuni_provincia_Milano = get_elenco_comuni('Milano')
+        comuni_provincia_Verona = get_elenco_comuni('Verona')
+        comuni_provincia = comuni_provincia_Brescia + comuni_provincia_Bergamo + comuni_provincia_Milano + comuni_provincia_Verona
         st.session_state['comuni_totali'] = comuni_provincia
     else:
         comuni_provincia = st.session_state['comuni_totali']    
     st.title("Filtri")
     
-    st.tipologia_case = st.selectbox("Tipologia", ("Acquisto Immobile", "Asta Immobiliare"))    
+    st.tipologia_case = st.selectbox("Tipologia", ("Acquisto Immobile", "Asta Immobiliare"), )    
     elenco = [d['comune'] for d in comuni_provincia]
     comune_input = st.multiselect(
         "Comuni",
         elenco
     )
-    prezzo_minimo = st.sidebar.slider("Prezzo Minimo (k)", min_value=0, max_value=1000, value=200)
-    prezzo_massimo = st.sidebar.slider("Prezzo Massimo (k)", min_value=0, max_value=1000, value=230)
+
+    min_value = 0
+    max_value = 1000
+    prezzo = st.slider(
+        "Intervallo Prezzo (k €)",
+        min_value=min_value,
+        max_value=max_value,
+        value=(0, 250), 
+    )
+    prezzo_minimo, prezzo_massimo = prezzo
+    
     locali = list(range(1, 21))  # Intervallo da 1 a 10
     locali_range = st.sidebar.select_slider(
         "Locali",
@@ -347,19 +375,53 @@ with st.sidebar:
         value=(locali[2], locali[4])  # Valore iniziale, da 1 a 5 locali
     )
     st.mostra_grafici = st.toggle("Mostra grafici", value = True)
-    
-    st.modello_ai = st.selectbox("Modello A.I.", ("Llama 3.1", "Mixtral 7x8b"))
     st.analisi_ai = st.toggle("Analizza i dati tramite l'A.I.", value = True)
 
     locali_minimo, locali_massimo = locali_range
     prezzo_minimo = prezzo_minimo*1000
     prezzo_massimo = prezzo_massimo*1000
+
+    # Carica i file
+    uploaded_files = st.file_uploader("Choose files", type=["xlsx", "xls", "csv"], accept_multiple_files=True)
+
     cerca_premuto = st.button("Cerca", use_container_width=True, type='primary')
 
 if cerca_premuto:
+    dfs = []
+    if uploaded_files:
+        for file in uploaded_files:
+            if file.name.endswith('.csv'):
+                df = pd.read_csv(file)
+            elif file.name.endswith('.xlsx') or file.name.endswith('.xls'):
+                df = pd.read_excel(file)
+            else:
+                st.error(f"Formato di file non supportato: {file.name}")
+                continue
+            dfs.append(df)
+        if dfs:
+            concatenated_df = pd.concat(dfs, ignore_index=True)
+            st.write(concatenated_df)    
+    
     if len(comune_input)>0:
         comuni_selezionati = comune_input
         comuni_selezionati = [comune.upper() for comune in comuni_selezionati]
+        if "PROVINCIA DI BRESCIA" in comuni_selezionati:
+            comuni_selezionati.remove("PROVINCIA DI BRESCIA")
+            comuni_selezionati.extend([d['comune'].upper() for d in comuni_provincia if d['provincia'].upper() == 'BRESCIA']) 
+            comuni_selezionati.remove("PROVINCIA DI BRESCIA")
+        if "PROVINCIA DI MILANO" in comuni_selezionati:
+            comuni_selezionati.remove("PROVINCIA DI MILANO")
+            comuni_selezionati.extend([d['comune'].upper() for d in comuni_provincia if d['provincia'].upper() == 'MILANO']) 
+            comuni_selezionati.remove("PROVINCIA DI MILANO")
+        if "PROVINCIA DI VERONA" in comuni_selezionati:
+            comuni_selezionati.remove("PROVINCIA DI VERONA")
+            comuni_selezionati.extend([d['comune'].upper() for d in comuni_provincia if d['provincia'].upper() == 'VERONA']) 
+            comuni_selezionati.remove("PROVINCIA DI VERONA")
+        if "PROVINCIA DI BERGAMO" in comuni_selezionati:
+            comuni_selezionati.remove("PROVINCIA DI BERGAMO")
+            comuni_selezionati.extend([d['comune'].upper() for d in comuni_provincia if d['provincia'].upper() == 'BERGAMO']) 
+            comuni_selezionati.remove("PROVINCIA DI BERGAMO")
+        
         output = []
         output_singolo = []
         for comune_provincia in comuni_provincia:
@@ -374,6 +436,7 @@ if cerca_premuto:
                                                                     locali_massimo))
                     scrivi_dataframe(output_singolo, False, comune_provincia['comune'])
                     output += output_singolo
+                time.sleep(0.10)
         if len(comuni_selezionati)>1 and st.numero_immobili_validi>1:
             st.write(f"### Comuni Selezionati")
             scrivi_dataframe(output, True, '')