from __future__ import annotations import os import tempfile from pathlib import Path from typing import Any from functools import lru_cache import cv2 import gradio as gr import numpy as np from PIL import Image, ImageDraw, ImageFont from reportlab.lib.pagesizes import A4 from reportlab.lib.utils import ImageReader from reportlab.pdfgen import canvas DATASET_DIR = Path("dataset") DAYS = ["06", "09", "11", "14", "16", "19", "23", "26"] CONDITIONS = ["NS", "S"] REPLICATES = ["A", "B", "C"] DEFAULT_HSV = { "h_min": 50.0, "h_max": 200.0, "s_min": 14.0, "s_max": 100.0, "v_min": 10.0, "v_max": 100.0, } CSS = """ .note {background:#eef6f0;border-left:5px solid #2e7d32;padding:10px;margin:8px 0} .info {background:#edf4fb;border-left:5px solid #326a9a;padding:10px;margin:8px 0} .warning {background:#fff4d6;border-left:5px solid #b67800;padding:10px;margin:8px 0} .compact p {margin:0.35rem 0} .matrix-help {font-size:0.95rem} """ def ensure_rgb(image: Any) -> np.ndarray | None: if image is None: return None if isinstance(image, Image.Image): image = np.asarray(image) arr = np.asarray(image) if arr.ndim == 2: arr = cv2.cvtColor(arr.astype(np.uint8), cv2.COLOR_GRAY2RGB) if arr.ndim != 3: raise ValueError("Formato immagine non supportato.") if arr.shape[-1] == 4: arr = cv2.cvtColor(arr.astype(np.uint8), cv2.COLOR_RGBA2RGB) if arr.shape[-1] != 3: raise ValueError("L'immagine deve avere tre canali RGB.") return arr.astype(np.uint8) def read_image(path: Path) -> np.ndarray: bgr = cv2.imread(str(path)) if bgr is None: raise FileNotFoundError(path) image = cv2.cvtColor(bgr, cv2.COLOR_BGR2RGB) max_dim = 1800 h, w = image.shape[:2] if max(h, w) > max_dim: scale = max_dim / max(h, w) image = cv2.resize( image, (round(w * scale), round(h * scale)), interpolation=cv2.INTER_AREA, ) return image def dataset_name(condition: str, replicate: str, day: str) -> str: return f"{condition}_{replicate}_{day}.jpg" def load_dataset_image(condition: str, replicate: str, day: str): name = dataset_name(condition, replicate, day) path = DATASET_DIR / name try: return read_image(path), ( f"Caricata {name}. NS = non stress; S = stress idrico; " "A/B/C = replica; il numero indica i giorni dal trapianto." ) except Exception as exc: return None, f"Immagine non disponibile: {name}. Dettaglio: {exc}" # ----------------------------------------------------------------------------- # 6-9: scheda PDF a quadretti # ----------------------------------------------------------------------------- def prepare_grid_image( image: Any, rows: int, cols: int, lighten: float, use_color: bool, ) -> np.ndarray: rgb = ensure_rgb(image) if rgb is None: raise ValueError("Caricare una fotografia.") pil = Image.fromarray(rgb) if not use_color: pil = pil.convert("L").convert("RGB") pil = Image.blend(pil, Image.new("RGB", pil.size, "white"), float(lighten)) # La griglia viene disegnata sull'immagine finale, con spessore proporzionato. draw = ImageDraw.Draw(pil) width, height = pil.size line_width = max(1, round(min(width, height) / 500)) for col in range(1, int(cols)): x = round(col * width / int(cols)) draw.line((x, 0, x, height), fill=(15, 15, 15), width=line_width) for row in range(1, int(rows)): y = round(row * height / int(rows)) draw.line((0, y, width, y), fill=(15, 15, 15), width=line_width) return np.asarray(pil) def create_grid_pdf( image: Any, rows: int, cols: int, lighten: float, use_color: bool, activity_title: str, ): try: grid = prepare_grid_image(image, rows, cols, lighten, use_color) except Exception as exc: return None, None, f"Impossibile generare la scheda: {exc}" title = (activity_title or "Piante a quadretti").strip() fd_pdf, pdf_path = tempfile.mkstemp(prefix="piante_a_quadretti_", suffix=".pdf") os.close(fd_pdf) page_w, page_h = A4 margin_x = 42 top_y = page_h - 42 title_h = 34 note_h = 42 available_w = page_w - 2 * margin_x available_h = page_h - 2 * 42 - title_h - note_h - 16 img_h, img_w = grid.shape[:2] scale = min(available_w / img_w, available_h / img_h) draw_w = img_w * scale draw_h = img_h * scale draw_x = (page_w - draw_w) / 2 draw_y = top_y - title_h - draw_h pdf = canvas.Canvas(pdf_path, pagesize=A4) pdf.setTitle(title) pdf.setFont("Helvetica-Bold", 16) pdf.drawCentredString(page_w / 2, top_y, title) pdf.setFont("Helvetica", 9) pdf.drawCentredString( page_w / 2, top_y - 17, f"Griglia: {int(rows)} righe × {int(cols)} colonne", ) # ReportLab incorpora il JPEG già compresso, riducendo sensibilmente il peso del PDF. fd_jpg, jpg_path = tempfile.mkstemp(prefix="griglia_pdf_", suffix=".jpg") os.close(fd_jpg) Image.fromarray(grid).save(jpg_path, "JPEG", quality=92, optimize=True) pdf.drawImage( jpg_path, draw_x, draw_y, width=draw_w, height=draw_h, preserveAspectRatio=True, mask="auto", ) line_y = 52 pdf.setLineWidth(0.8) pdf.line(margin_x, line_y + 18, page_w - margin_x, line_y + 18) pdf.setFont("Helvetica", 11) pdf.drawString( margin_x, line_y, "Numero di quadratini verdi identificati/colorati: ____________________", ) pdf.showPage() pdf.save() try: os.remove(jpg_path) except OSError: pass # L'anteprima riproduce la pagina del PDF in modo leggibile dentro l'interfaccia. preview_w = 1240 preview_h = round(preview_w * page_h / page_w) preview = Image.new("RGB", (preview_w, preview_h), "white") d = ImageDraw.Draw(preview) try: font_title = ImageFont.truetype("DejaVuSans-Bold.ttf", 34) font_small = ImageFont.truetype("DejaVuSans.ttf", 20) font_note = ImageFont.truetype("DejaVuSans.ttf", 23) except OSError: font_title = font_small = font_note = None d.text((preview_w / 2, 48), title, fill="black", anchor="ma", font=font_title) d.text( (preview_w / 2, 98), f"Griglia: {int(rows)} righe × {int(cols)} colonne", fill="black", anchor="ma", font=font_small, ) grid_pil = Image.fromarray(grid) max_w = preview_w - 150 max_h = preview_h - 300 pscale = min(max_w / grid_pil.width, max_h / grid_pil.height) resized = grid_pil.resize( (round(grid_pil.width * pscale), round(grid_pil.height * pscale)), Image.Resampling.LANCZOS, ) px = (preview_w - resized.width) // 2 py = 135 preview.paste(resized, (px, py)) note_y = py + resized.height + 48 d.line((75, note_y - 24, preview_w - 75, note_y - 24), fill="black", width=2) d.text( (75, note_y), "Numero di quadratini verdi identificati/colorati: ____________________", fill="black", font=font_note, ) return np.asarray(preview), pdf_path, "Scheda PDF generata." # ----------------------------------------------------------------------------- # 9-11: esplorazione di pixel e trasformazioni additive del colore # ----------------------------------------------------------------------------- def didactic_hsv(image: np.ndarray) -> np.ndarray: hsv = cv2.cvtColor(image, cv2.COLOR_RGB2HSV).astype(np.float32) hsv[:, :, 0] = hsv[:, :, 0] * (360.0 / 180.0) hsv[:, :, 1] = hsv[:, :, 1] * (100.0 / 255.0) hsv[:, :, 2] = hsv[:, :, 2] * (100.0 / 255.0) return hsv def channel_choices(space: str): choices = ["R", "G", "B"] if space == "RGB" else ["H", "S", "V"] return gr.update(choices=choices, value=choices[0]) def extract_channel(image: np.ndarray, space: str, channel: str) -> np.ndarray: if space == "RGB": idx = {"R": 0, "G": 1, "B": 2}[channel] return image[:, :, idx].astype(np.float32) hsv = didactic_hsv(image) idx = {"H": 0, "S": 1, "V": 2}[channel] return hsv[:, :, idx] def selection_bounds(x: int, y: int, size: int, width: int, height: int): size = int(size) half = size // 2 x0 = min(max(x - half, 0), max(width - size, 0)) y0 = min(max(y - half, 0), max(height - size, 0)) return x0, y0, min(x0 + size, width), min(y0 + size, height) def render_pixel_selection( image: Any, size: int, space: str, channel: str, coords: list[int] | tuple[int, int] | None, ): rgb = ensure_rgb(image) if rgb is None: return None, None, [], "Caricare un'immagine.", coords if not coords or coords[0] is None: return rgb, None, [], "Fare click sull'immagine per posizionare il selettore.", coords x, y = map(int, coords) h, w = rgb.shape[:2] x = min(max(x, 0), w - 1) y = min(max(y, 0), h - 1) x0, y0, x1, y1 = selection_bounds(x, y, int(size), w, h) crop = rgb[y0:y1, x0:x1] if crop.shape[0] != int(size) or crop.shape[1] != int(size): return rgb, None, [], "Selezione troppo vicina al bordo.", [x, y] annotated = rgb.copy() cv2.rectangle(annotated, (x0, y0), (x1 - 1, y1 - 1), (255, 30, 30), max(2, round(min(h, w) / 350))) zoom_size = 360 zoom = cv2.resize(crop, (zoom_size, zoom_size), interpolation=cv2.INTER_NEAREST) matrix = extract_channel(crop, space, channel) if space == "HSV": matrix = np.rint(matrix).astype(int) unit = "gradi" if channel == "H" else "%" else: matrix = np.rint(matrix).astype(int) unit = "0-255" status = ( f"Selettore {int(size)}×{int(size)} centrato vicino a x={x}, y={y}. " f"Matrice del canale {channel} in {space} ({unit})." ) return annotated, zoom, matrix.tolist(), status, [x, y] def select_pixel_region(image, size, space, channel, evt: gr.SelectData): try: x, y = map(int, evt.index) except Exception: return None, None, [], "Impossibile leggere il punto selezionato.", [None, None] return render_pixel_selection(image, size, space, channel, [x, y]) def refresh_pixel_region(image, size, space, channel, coords): return render_pixel_selection(image, size, space, channel, coords) def editor_value_from_image(image: Any): rgb = ensure_rgb(image) if rgb is None: return None, None, "Caricare un'immagine nel campo sorgente." value = {"background": rgb, "layers": [], "composite": rgb} return value, rgb, "Immagine caricata nel laboratorio del colore. Dipingere la zona da modificare." def editor_background_and_mask(editor_value: dict[str, Any] | None): if not editor_value: raise ValueError("Caricare un'immagine nel laboratorio del colore.") background = ensure_rgb(editor_value.get("background")) if background is None: raise ValueError("Sfondo dell'editor non disponibile.") mask = np.zeros(background.shape[:2], dtype=bool) for layer in editor_value.get("layers") or []: arr = np.asarray(layer) if arr.ndim == 3 and arr.shape[2] == 4: alpha = arr[:, :, 3] if alpha.shape != mask.shape: alpha = cv2.resize(alpha, (mask.shape[1], mask.shape[0]), interpolation=cv2.INTER_NEAREST) mask |= alpha > 0 elif arr.ndim == 3: layer_rgb = ensure_rgb(arr) if layer_rgb.shape[:2] != mask.shape: layer_rgb = cv2.resize(layer_rgb, (mask.shape[1], mask.shape[0]), interpolation=cv2.INTER_NEAREST) mask |= np.any(layer_rgb != 0, axis=2) # Fallback: usa la differenza fra composito e sfondo se il livello non espone alpha. if not mask.any() and editor_value.get("composite") is not None: composite = ensure_rgb(editor_value.get("composite")) if composite.shape[:2] != background.shape[:2]: composite = cv2.resize(composite, (background.shape[1], background.shape[0]), interpolation=cv2.INTER_LINEAR) mask = np.any(np.abs(composite.astype(np.int16) - background.astype(np.int16)) > 2, axis=2) return background, mask def apply_additive_brush(editor_value, space: str, channel: str, delta: float): try: background, mask = editor_background_and_mask(editor_value) except Exception as exc: return editor_value, None, f"Modifica non applicata: {exc}" if not mask.any(): return editor_value, background, "Dipingere almeno una zona prima di applicare la modifica." delta = float(delta) if space == "RGB": idx = {"R": 0, "G": 1, "B": 2}[channel] work = background.astype(np.int16) work[:, :, idx][mask] = np.clip(work[:, :, idx][mask] + round(delta), 0, 255) result = work.astype(np.uint8) explanation = f"Canale {channel}: variazione additiva {delta:+.0f}, con limite 0-255." else: hsv = cv2.cvtColor(background, cv2.COLOR_RGB2HSV).astype(np.float32) idx = {"H": 0, "S": 1, "V": 2}[channel] if channel == "H": # OpenCV usa 0-179; l'interfaccia usa gradi 0-359. hsv[:, :, idx][mask] = (hsv[:, :, idx][mask] + delta / 2.0) % 180.0 explanation = ( f"Canale H: variazione {delta:+.0f}°. H è circolare: superati 360° si riparte da 0°." ) else: step = delta * 255.0 / 100.0 hsv[:, :, idx][mask] = np.clip(hsv[:, :, idx][mask] + step, 0, 255) explanation = f"Canale {channel}: variazione {delta:+.0f} punti percentuali, con limite 0-100%." result = cv2.cvtColor(np.clip(hsv, 0, 255).astype(np.uint8), cv2.COLOR_HSV2RGB) new_value = {"background": result, "layers": [], "composite": result} selected = int(np.count_nonzero(mask)) return new_value, result, f"Modificati {selected} pixel. {explanation} Per sommare un altro passaggio, dipingere di nuovo e premere ancora." # ----------------------------------------------------------------------------- # 9-11: quanto verde? # ----------------------------------------------------------------------------- def automatic_kernel(image: np.ndarray) -> int: return 3 if min(image.shape[:2]) < 1200 else 5 def clean_mask_auto(mask: np.ndarray, image: np.ndarray) -> np.ndarray: kernel_size = automatic_kernel(image) kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (kernel_size, kernel_size)) opened = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel) return cv2.morphologyEx(opened, cv2.MORPH_CLOSE, kernel) def hsv_bounds_to_cv(h_min, h_max, s_min, s_max, v_min, v_max): low = np.array([ np.clip(float(h_min) / 2.0, 0, 179), np.clip(float(s_min) * 255.0 / 100.0, 0, 255), np.clip(float(v_min) * 255.0 / 100.0, 0, 255), ], dtype=np.uint8) high = np.array([ np.clip(float(h_max) / 2.0, 0, 179), np.clip(float(s_max) * 255.0 / 100.0, 0, 255), np.clip(float(v_max) * 255.0 / 100.0, 0, 255), ], dtype=np.uint8) return low, high def hsv_mask(image: np.ndarray, h_min, h_max, s_min, s_max, v_min, v_max): hsv = cv2.cvtColor(image, cv2.COLOR_RGB2HSV) low, high = hsv_bounds_to_cv(h_min, h_max, s_min, s_max, v_min, v_max) if low[0] <= high[0]: mask = cv2.inRange(hsv, low, high) else: # Intervallo H che attraversa 360°/0°. low_a = low.copy(); high_a = high.copy() high_a[0] = 179 low_b = low.copy(); high_b = high.copy() low_b[0] = 0 mask = cv2.bitwise_or(cv2.inRange(hsv, low_a, high_a), cv2.inRange(hsv, low_b, high_b)) return clean_mask_auto(mask, image) def exg_mask(image: np.ndarray, threshold: float): values = image.astype(np.float32) exg = 2.0 * values[:, :, 1] - values[:, :, 0] - values[:, :, 2] mask = np.where(exg > float(threshold), 255, 0).astype(np.uint8) return clean_mask_auto(mask, image) def build_overlay(image: np.ndarray, mask: np.ndarray, tint=(0, 235, 70)) -> np.ndarray: overlay = image.copy() color = np.zeros_like(image) color[:, :] = np.array(tint, dtype=np.uint8) overlay[mask > 0] = cv2.addWeighted(image[mask > 0], 0.55, color[mask > 0], 0.45, 0) return overlay def mask_result(image: Any, mask: np.ndarray, label: str): rgb = ensure_rgb(image) overlay = build_overlay(rgb, mask) pixels = int(np.count_nonzero(mask)) pct = 100.0 * pixels / mask.size message = ( f"{label}: {pixels:,} pixel selezionati ({pct:.1f}% dell'immagine). " f"Pulizia automatica con kernel {automatic_kernel(rgb)}×{automatic_kernel(rgb)}." ).replace(",", ".") return cv2.cvtColor(mask, cv2.COLOR_GRAY2RGB), overlay, message, mask def default_hsv_outputs(image: Any): rgb = ensure_rgb(image) if rgb is None: return None, None, "Caricare un'immagine.", None mask = hsv_mask(rgb, **DEFAULT_HSV) return mask_result(rgb, mask, "Metodo cromatico HSV") def custom_hsv_outputs(image, h_min, h_max, s_min, s_max, v_min, v_max): rgb = ensure_rgb(image) if rgb is None: return None, None, "Caricare un'immagine.", None mask = hsv_mask(rgb, h_min, h_max, s_min, s_max, v_min, v_max) return mask_result(rgb, mask, "HSV con soglie modificate") def exg_outputs(image, threshold): rgb = ensure_rgb(image) if rgb is None: return None, None, "Caricare un'immagine.", None mask = exg_mask(rgb, threshold) return mask_result(rgb, mask, f"ExG > {float(threshold):.0f}") def parse_estimates(text: str): values = [] for token in str(text or "").replace(";", ",").split(","): try: values.append(float(token.strip().replace("%", ""))) except ValueError: continue return values def estimate_green(image, estimates): mask_img, overlay, message, raw_mask = default_hsv_outputs(image) if raw_mask is None: return mask_img, overlay, message pct = 100.0 * float(np.count_nonzero(raw_mask)) / raw_mask.size values = parse_estimates(estimates) if values: differences = [abs(value - pct) for value in values] best = min(range(len(values)), key=differences.__getitem__) message += f" Migliore stima: {values[best]:.1f}% (scarto {differences[best]:.1f} punti)." return mask_img, overlay, message # ----------------------------------------------------------------------------- # 11-14: confronto progressivo fra HSV, ExG e FastSAM # ----------------------------------------------------------------------------- @lru_cache(maxsize=1) def load_fastsam_cpu(): """Carica una sola volta il modello, come nello Space consolidato.""" from ultralytics import FastSAM return FastSAM("FastSAM-s.pt") def run_fastsam_on_click(image: Any, evt: gr.SelectData): """Esegue FastSAM direttamente sul punto cliccato, su CPU Basic.""" rgb = ensure_rgb(image) if rgb is None: return None, None, "Caricare un'immagine.", None try: x, y = map(int, evt.index) except Exception: return None, None, "Impossibile leggere il punto selezionato.", None h, w = rgb.shape[:2] x = min(max(x, 0), w - 1) y = min(max(y, 0), h - 1) try: model = load_fastsam_cpu() # Stesso schema dello Space consolidato: prompt puntuale e inferenza CPU. results = model.predict( rgb, points=[[x, y]], labels=[1], device="cpu", verbose=False, ) if not results or results[0].masks is None or len(results[0].masks.data) == 0: return None, None, "FastSAM non ha trovato un oggetto associato al punto.", None data = results[0].masks.data.detach().float().cpu().numpy() # Di norma il prompt restituisce una sola maschera. Se ne arrivano più di una, # si sceglie la più piccola fra quelle che contengono il punto cliccato. candidates = [] for raw in data: candidate = cv2.resize( raw, (w, h), interpolation=cv2.INTER_NEAREST ) > 0.5 if candidate[y, x]: candidates.append(candidate) selected = min(candidates, key=lambda m: int(m.sum())) if candidates else ( cv2.resize(data[0], (w, h), interpolation=cv2.INTER_NEAREST) > 0.5 ) mask = selected.astype(np.uint8) * 255 except Exception as exc: return None, None, f"FastSAM non disponibile: {exc}", None overlay = build_overlay(rgb, mask, tint=(205, 35, 205)) cv2.circle(overlay, (x, y), max(6, round(min(h, w) / 100)), (255, 30, 30), -1) pixels = int(np.count_nonzero(mask)) pct = 100.0 * pixels / mask.size pixel_text = f"{pixels:,}".replace(",", ".") message = ( f"FastSAM: {pixel_text} pixel ({pct:.1f}%) nella regione associata " f"al punto x={x}, y={y}." ) overlay_state = overlay.copy() return cv2.cvtColor(mask, cv2.COLOR_GRAY2RGB), overlay, message, overlay_state def compare_overlays(color_overlay, ai_overlay): if color_overlay is None or ai_overlay is None: return None first = ensure_rgb(color_overlay) second = ensure_rgb(ai_overlay) h = min(first.shape[0], second.shape[0]) a = cv2.resize(first, (round(first.shape[1] * h / first.shape[0]), h)) b = cv2.resize(second, (round(second.shape[1] * h / second.shape[0]), h)) return np.concatenate([a, b], axis=1) # ----------------------------------------------------------------------------- # Interfaccia # ----------------------------------------------------------------------------- with gr.Blocks(title="Computer vision e piante", theme=gr.themes.Soft(primary_hue="green"), css=CSS) as demo: gr.Markdown("# Computer vision e piante - percorsi 6-14 anni") gr.Markdown( "Lo Space raccoglie tre moduli distinti. Il dataset sperimentale completo rimane disponibile " "per le attività che richiedono fotografie già acquisite." ) with gr.Tab("6-9"): gr.Markdown("## Piante a quadretti") gr.HTML( '
Il programma prepara una scheda PDF da stampare. ' "Non evidenzia automaticamente la pianta e non assegna una risposta corretta.
" ) with gr.Row(): q_image = gr.Image(type="numpy", label="Fotografia", interactive=True) with gr.Column(): q_condition = gr.Radio(CONDITIONS, value="NS", label="Condizione dataset") q_replicate = gr.Radio(REPLICATES, value="A", label="Replica") q_day = gr.Dropdown(DAYS, value="06", label="Giorno") q_load = gr.Button("Carica dal dataset") q_status = gr.Textbox(label="Stato", interactive=False) q_title = gr.Textbox(value="Piante a quadretti", label="Titolo dell'attività") with gr.Row(): q_rows = gr.Slider(4, 36, value=12, step=1, label="Righe") q_cols = gr.Slider(4, 36, value=12, step=1, label="Colonne") q_light = gr.Slider(0, 1.0, value=0.50, step=0.05, label="Schiarimento") q_color = gr.Checkbox(value=False, label="Mantieni la fotografia a colori") q_button = gr.Button("Genera la scheda PDF", variant="primary") q_message = gr.Textbox(label="Stato generazione", interactive=False) with gr.Row(): q_preview = gr.Image(label="Anteprima del PDF", interactive=False) q_pdf = gr.File(label="Scarica il PDF", interactive=False) q_load.click(load_dataset_image, [q_condition, q_replicate, q_day], [q_image, q_status]) q_button.click( create_grid_pdf, [q_image, q_rows, q_cols, q_light, q_color, q_title], [q_preview, q_pdf, q_message], ) gr.Markdown("### Attività con la famiglia\nDa definire con il personale di progetto.") with gr.Tab("9-11"): with gr.Tab("A scuola - Pixel"): gr.Markdown("## Esplora una piccola matrice di pixel") gr.HTML( '
Fare click sull’immagine per collocare un selettore quadrato. ' "La zona scelta resta visibile sull’originale, viene ingrandita e viene tradotta in una matrice numerica.
" ) p_coords = gr.State([None, None]) with gr.Row(): p_source = gr.Image(type="numpy", label="Fotografia - fare click per selezionare l'area", interactive=True) p_marked = gr.Image(label="Fotografia con selettore", interactive=False) with gr.Row(): p_size = gr.Radio([3, 5], value=5, label="Dimensione del selettore") p_space = gr.Radio(["RGB", "HSV"], value="RGB", label="Spazio di colore") p_channel = gr.Dropdown(["R", "G", "B"], value="R", label="Canale") p_status = gr.Textbox(label="Lettura", interactive=False) with gr.Row(): p_zoom = gr.Image(label="Area ingrandita", interactive=False) p_matrix = gr.Dataframe( value=[], datatype="number", type="array", label="Matrice dei valori", interactive=False, wrap=True, max_height=420, ) p_source.select( select_pixel_region, [p_source, p_size, p_space, p_channel], [p_marked, p_zoom, p_matrix, p_status, p_coords], show_progress="hidden", ) p_space.change(channel_choices, p_space, p_channel, show_progress="hidden").then( refresh_pixel_region, [p_source, p_size, p_space, p_channel, p_coords], [p_marked, p_zoom, p_matrix, p_status, p_coords], show_progress="hidden", ) for control in [p_size, p_channel]: control.change( refresh_pixel_region, [p_source, p_size, p_space, p_channel, p_coords], [p_marked, p_zoom, p_matrix, p_status, p_coords], show_progress="hidden", ) gr.Markdown("## Laboratorio del colore") gr.HTML( '
Dipingere una zona, scegliere un canale e applicare una variazione additiva. ' "Ogni pressione del pulsante aggiunge o sottrae il valore scelto. Nel canale H il percorso è circolare.
" ) with gr.Row(): b_source = gr.Image(type="numpy", label="Immagine sorgente", interactive=True) with gr.Column(): b_load = gr.Button("Carica nel pennello") b_space = gr.Radio(["RGB", "HSV"], value="RGB", label="Spazio di colore") b_channel = gr.Dropdown(["R", "G", "B"], value="G", label="Canale da modificare") b_delta = gr.Slider(-100, 100, value=20, step=5, label="Variazione additiva") b_apply = gr.Button("Applica la modifica alla zona dipinta", variant="primary") with gr.Row(): b_editor = gr.ImageEditor( type="numpy", label="Pennello", brush=gr.Brush(default_size=45, colors=[("#ff0000", 0.65)], default_color=("#ff0000", 0.65), color_mode="fixed"), eraser=gr.Eraser(default_size=45), layers=gr.LayerOptions(allow_additional_layers=False, layers=["Zona da modificare"]), transforms=(), interactive=True, ) b_result = gr.Image(label="Risultato", interactive=False) b_message = gr.Textbox(label="Risultato della trasformazione", interactive=False) b_space.change(channel_choices, b_space, b_channel, show_progress="hidden") b_load.click(editor_value_from_image, b_source, [b_editor, b_result, b_message]) b_apply.click( apply_additive_brush, [b_editor, b_space, b_channel, b_delta], [b_editor, b_result, b_message], ) with gr.Tab("Con la famiglia - Quanto verde?"): gr.Markdown("## Quanto verde vedi?") gr.HTML( '
Il valore prodotto dal programma è una stima automatica ottenuta con soglie HSV. ' "La maschera mostra quali pixel sono stati inclusi e permette di discutere gli errori.
" ) with gr.Row(): g_image = gr.Image(type="numpy", label="Fotografia orizzontale d'insieme", interactive=True) with gr.Column(): g_estimates = gr.Textbox(label="Stime separate da virgole (%)", placeholder="30, 45, 50") g_button = gr.Button("Calcola la stima automatica", variant="primary") g_message = gr.Textbox(label="Risultato", interactive=False) with gr.Row(): g_mask = gr.Image(label="Maschera HSV", interactive=False) g_overlay = gr.Image(label="Sovrapposizione", interactive=False) g_button.click(estimate_green, [g_image, g_estimates], [g_mask, g_overlay, g_message]) with gr.Tab("11-14"): gr.Markdown("## Confronta modi diversi di segmentare una pianta") gr.Markdown( "Caricare la fotografia della caccia alla pianta segmentabile oppure scegliere un'immagine del dataset. " "La stessa immagine viene utilizzata in tutti i passaggi." ) c_color_overlay_state = gr.State(None) c_ai_overlay_state = gr.State(None) with gr.Row(): c_image = gr.Image(type="numpy", label="Fotografia sorgente - per FastSAM fare click sulla pianta", interactive=True) with gr.Column(): c_condition = gr.Radio(CONDITIONS, value="NS", label="Condizione dataset") c_replicate = gr.Radio(REPLICATES, value="A", label="Replica") c_day = gr.Dropdown(DAYS, value="14", label="Giorno") c_load = gr.Button("Carica dal dataset") c_load_status = gr.Textbox(label="Stato", interactive=False) c_load.click(load_dataset_image, [c_condition, c_replicate, c_day], [c_image, c_load_status]) gr.Markdown("### 1. Applica il metodo cromatico") gr.HTML( '
Il pulsante usa impostazioni HSV predefinite e pulisce automaticamente la maschera. ' "Non è necessario regolare parametri per il primo tentativo.
" ) c_default_button = gr.Button("Applica il metodo cromatico", variant="primary") with gr.Row(): c_default_mask = gr.Image(label="Maschera HSV", interactive=False) c_default_overlay = gr.Image(label="Sovrapposizione HSV", interactive=False) c_default_message = gr.Textbox(label="Risultato HSV", interactive=False) c_default_raw = gr.State(None) c_default_button.click( default_hsv_outputs, c_image, [c_default_mask, c_default_overlay, c_default_message, c_default_raw], ).then(lambda x: x, c_default_overlay, c_color_overlay_state) with gr.Accordion("Prova a modificare le soglie nello spazio HSV", open=False): gr.Markdown( "H descrive la tonalità lungo un cerchio da 0° a 360°. S descrive la saturazione e V la luminosità. " "Modificando i limiti cambia l'insieme dei pixel accettati." ) with gr.Row(): c_h_min = gr.Slider(0, 360, value=DEFAULT_HSV["h_min"], step=2, label="H minimo (°)") c_h_max = gr.Slider(0, 360, value=DEFAULT_HSV["h_max"], step=2, label="H massimo (°)") with gr.Row(): c_s_min = gr.Slider(0, 100, value=DEFAULT_HSV["s_min"], step=1, label="S minimo (%)") c_s_max = gr.Slider(0, 100, value=DEFAULT_HSV["s_max"], step=1, label="S massimo (%)") c_v_min = gr.Slider(0, 100, value=DEFAULT_HSV["v_min"], step=1, label="V minimo (%)") c_v_max = gr.Slider(0, 100, value=DEFAULT_HSV["v_max"], step=1, label="V massimo (%)") c_custom_button = gr.Button("Applica le soglie HSV modificate") with gr.Row(): c_custom_mask = gr.Image(label="Maschera HSV modificata", interactive=False) c_custom_overlay = gr.Image(label="Sovrapposizione HSV modificata", interactive=False) c_custom_message = gr.Textbox(label="Risultato soglie", interactive=False) c_custom_raw = gr.State(None) c_custom_button.click( custom_hsv_outputs, [c_image, c_h_min, c_h_max, c_s_min, c_s_max, c_v_min, c_v_max], [c_custom_mask, c_custom_overlay, c_custom_message, c_custom_raw], ).then(lambda x: x, c_custom_overlay, c_color_overlay_state) with gr.Accordion("Prova l'indice ExG", open=False): gr.HTML( '
ExG = 2G - R - B. Il programma calcola questo valore per ogni pixel ' "e conserva i pixel per i quali ExG supera la soglia scelta.
" ) c_exg_threshold = gr.Slider(-100, 200, value=35, step=1, label="Soglia ExG") c_exg_button = gr.Button("Applica ExG") with gr.Row(): c_exg_mask = gr.Image(label="Maschera ExG", interactive=False) c_exg_overlay = gr.Image(label="Sovrapposizione ExG", interactive=False) c_exg_message = gr.Textbox(label="Risultato ExG", interactive=False) c_exg_raw = gr.State(None) c_exg_button.click( exg_outputs, [c_image, c_exg_threshold], [c_exg_mask, c_exg_overlay, c_exg_message, c_exg_raw], ).then(lambda x: x, c_exg_overlay, c_color_overlay_state) with gr.Accordion("Adesso prova FastSAM", open=False): gr.HTML( '
FastSAM cerca i pixel che formano una figura coerente con il punto indicato ' "e distinta dal resto dell'immagine. Aprire questo pannello, poi fare click direttamente sulla " "fotografia sorgente mostrata in alto. Non è necessario caricare una seconda immagine. " "L'elaborazione parte dal click e può richiedere alcuni secondi su CPU.
" ) with gr.Row(): c_ai_mask = gr.Image(label="Maschera FastSAM", interactive=False) c_ai_overlay = gr.Image(label="Sovrapposizione FastSAM", interactive=False) c_ai_message = gr.Textbox( value="Aprire il pannello e fare click sulla pianta nella fotografia sorgente in alto.", label="Risultato FastSAM", interactive=False, ) # Come nello Space consolidato, FastSAM parte dal click su un componente # che contiene già l'immagine. Qui si usa direttamente la fotografia sorgente: # si elimina così la copia intermedia che in alcune versioni di Gradio rimaneva vuota. c_image.select( run_fastsam_on_click, inputs=[c_image], outputs=[c_ai_mask, c_ai_overlay, c_ai_message, c_ai_overlay_state], concurrency_limit=1, ) c_image.change( lambda: (None, None, "Aprire il pannello e fare click sulla pianta nella fotografia sorgente in alto.", None), inputs=None, outputs=[c_ai_mask, c_ai_overlay, c_ai_message, c_ai_overlay_state], show_progress="hidden", ) gr.Markdown("### Confronto finale") c_compare_button = gr.Button("Confronta l'ultimo metodo cromatico con FastSAM") c_compare = gr.Image(label="Metodo cromatico | FastSAM", interactive=False) c_compare_button.click(compare_overlays, [c_color_overlay_state, c_ai_overlay_state], c_compare) if __name__ == "__main__": demo.queue(default_concurrency_limit=4).launch( server_name="0.0.0.0", server_port=7860, )