Cocina Conmigo

Sous-chef multimodal con visión, voz y Flux.2 — para cocinar con tu mamá sin tener las manos libres

La idea en una frase

Tu mamá toma foto del refri, la app le propone qué cocinar, le muestra cómo se debe ver cada paso con Flux.2, y la narra por voz mientras ella cocina con las manos llenas.

"Mi mamá me pidió que le enseñara a hacer ramen. Le construí un sous-chef que vive en su tablet."

Flux.2 Klein 9B MiniCPM-V + voice Cohere voice Gradio Workflows Modal-powered llama.cpp
Track: Backyard AI
Persona: tu mamá / pareja / vecino
Idioma: español-mexicano
Total params: ~17B (≤ 32B ✓)
Cocina: mexicana tradicional
Storyline: "Para que mi mamá deje de googlear"

01Por qué esta idea, y no las anteriores

IteraciónIdeaPor qué se descartó
v1Abuelita (parent phone helper)En la lista pre-cocinada de OpenBMB → 5-15 equipos lo harán
v2Cuentacuentos (voice storyteller)También en la lista pre-cocinada de OpenBMB
v3 (ésta)Cocina ConmigoRefinamiento de tu idea #1 · NO está en ninguna lista pre-cocinada · usa Flux.2 + Workflows + voces · diaria + universal
⛔ Las 12 ideas en zona prohibida (clúster OpenBMB):

02Las 4 historias del demo

📸 Tengo esto en el refri
🍅🌶🐔🧅

Veo: pollo, jitomate, cebolla, cilantro, tortillas, queso.

3 opciones:
🌮 Tinga · 🌯 Enchiladas · 🧀 Quesadillas

🔊 "¿Qué traes ganas?"
1. Visión + Planner
👩‍🍳 Paso 2 de 5
🍳✨

Acitrona la cebolla en aceite caliente.

⏱ 4 minutos · hasta que esté transparente

🔊 OpenBMB voice narra…
2. Voz + imagen objetivo
📸 ¿Voy bien?
🍳👀

✅ Va perfecto. La cebolla ya se ve transparente.

🔊 Cohere voice: "¡Súbele 1 minuto más, está bien!"
3. Closed-loop visual
🔄 Replan

Usuario: "No tengo cilantro."

🌮

"No pasa nada. Le ponemos perejil o nada. Sigue siendo tinga."

🔊 Receta regenera · plato final actualizado
4. Adaptación en vivo

03Arquitectura — 5 agentes en un Gradio Workflow

USUARIO (cocina) 📸 Foto del refri trigger inicial 🎙️ Pregunta voz "¿voy bien?" 📸 Foto progreso closed-loop SALIDA 🍽️ Plato final + receta imagen + texto 🔊 Voz por paso narrador + tips HF SPACE — Gradio Workflow (5 agentes) 👁️ MISE EN PLACE MiniCPM-V (Q4) ~2-4B identifica ingredientes 🧠 RECIPE PLANNER MiniCPM-4 (LoRA mx) ~4B arma receta JSON · replan 🎨 STEP ILLUSTRATOR Flux.2 Klein 9B en Modal GPU L4 imagen-objetivo por paso 🔊 SOUS-CHEF NARRATOR OpenBMB voice (~1B) tono cálido 🎭 TIP GIVER Cohere voice (~1B) warnings · enérgico ✅ PROGRESS VALIDATOR MiniCPM-V (reuso) compara foto usuario vs imagen-objetivo CLOSED LOOP 🔄 🎙️ STT (opcional) Whisper-tiny (~40M) "¿voy bien?" hands-free 📖 RECIPE STATE (dataclass) name · final_dish_image · steps · current_step · missing_ingredients · substitutes · user_progress_photos cada agente lee y escribe sobre este objeto 📖 RECIPE CARD ASSEMBLER renderiza la tarjeta de receta + cards por paso + audio reproducible MODAL Flux endpoint runtime · @app.cls L4 scaledown 180s ~1-3s/imagen Dataset cocina mx offline · 200 recetas Codex API genera ~$5 LoRA Planner offline · A10G ~30 min push GGUF a HF ~$1 Eval pipeline consistencia visual % ingredientes correctos ~$1 refri audio progreso ingredientes visual prompt .remote() verdict · feedback LoRA pesos

Flecha naranja = closed-loop visual (la innovación). El usuario toma foto del progreso, MiniCPM-V valida vs imagen-objetivo, el Planner ajusta o avanza. Ningún recipe app del mercado lo hace.

04El truco innovador: closed-loop visual cocinero

1. Imagen-objetivo por paso

Flux.2 genera "así debe verse el sartén/plato/olla en el paso N". No es texto, no es stock photo: es generación context-aware del estado deseado.

2. Validación con foto del usuario

El usuario sube foto de cómo va. MiniCPM-V compara contra la imagen-objetivo y devuelve verdict: go · wait · fix.

3. Replan adaptativo

"No tengo cilantro." → Planner regenera receta + Flux regenera imagen final. El plan no es estático, evoluciona con el estado real.

Esta es la sección destacada del README y el blog post de Field Notes badge: "How visual closed-loop cooking guidance works."

05Badges objetivo (5/6)

LLAMA.CPP
Llama Champion

Vision + Planner via llama-cpp-python con GGUF Q4.

FINE-TUNED
Well-Tuned

LoRA en cocina mexicana · publicado en HF.

CUSTOM UI
Off-Brand

UI tarjeta de receta · serif · paleta cálida · modo cocina XL.

OPEN TRACE
Sharing is Caring

Dataset 150 recetas mx + traces + recetas generadas al Hub.

TENTATIVE
Field Notes

Blog: "Le construí un sous-chef a mi mamá".

06Premios objetivo

Backyard AI Track · $1K–$4KALTA
Modal Awards · $3K–$10K creditsALTA
OpenBMB Award · $1K–$2.5KALTA
Best Demo · $1KALTA
Community Choice · $2KALTA
Best Agent · $1KALTA — closed-loop multi-agente real
Bonus Quest Champion · $2KMEDIA-ALTA · 5/6 badges
Off-Brand · $1.5KMEDIA
Tiny Titan · $1.5KBAJA · Flux 9B saca del rango

Cota razonable acumulada: $5K–$12K cash + $3K–$10K Modal credits.

07Timeline de 10 días

D1Setup + Modal Flux endpoint
"Hola Flux": prompt → imagen de un platillo. Space vacío deployado.
D2Vision: identificación de ingredientes
MiniCPM-V Q4 · prueba con 5 fotos reales del refri.
D3Recipe Planner LLM
MiniCPM-4 · JSON estructurado · 3 opciones a partir de ingredientes.
D4Step Illustrator (Flux + consistencia)
Imagen del plato final + 5 imágenes-objetivo por paso · i2i suave.
D5Voz: narrador + tip-giver
OpenBMB voice + Cohere voice · audio pre-renderizado por paso.
D6UI Off-Brand: recipe card
gr.Blocks + CSS serif tierra · modo cocina XL hands-free.
D7Gradio Workflows showcase
Pipeline reescrita como Workflow visible · pestaña separada.
D8Fine-tune del Planner en cocina mx
200 recetas sintéticas · LoRA · GGUF · push HF.
D9STT + Progress Validator + eval
Whisper · closed-loop activo · Sharing is Caring badge.
D10Demo + README + blog + submit
Mamá real cocinando · 60-90s · subtítulos EN · Field Notes blog.

08Plan B (corte de scope)

#CortarPierdesConservas
1STT (preguntas voz)comodidad demotexto + foto
22da voz (Cohere tip-giver)1 sponsor voicenarrador único
3Progress Validator (closed-loop)Best Agent + innovación principaldemo lineal
4Fine-tune del PlannerWell-Tunedresto badges
5Gradio Workflows showcasediferenciador "fresh"pipeline Python
6UI super-customOff-BrandUI default
—NUNCAVision + Planner + Illustrator + Narrator + UI mínima + video con persona real cocinando

09Riesgos clave

RiesgoMitigación
Flux.2 Klein no tiene API/pesos públicos cuando lo necesitasPlan B: Flux.1-schnell o SDXL-Lightning. Pierdes posicionamiento sponsor pero idea sobrevive.
MiniCPM-V no identifica ingredientes mexicanos (chile poblano, nopales)Few-shot en prompt; eventualmente fine-tune ligero del visión sobre 50 fotos etiquetadas
Flux.2 genera comida poco apetitosaItera prompts ("recipe magazine, warm light, top-down"); usa imagen final como ref para los pasos
Progress Validator da false positivesConservador: solo dice "vas bien" si similitud es alta; default es "sigue" sin juicio fuerte
Latencia receta > 30sStreaming progresivo; paraleliza Flux + TTS
Modal cold start ~30-60s en FluxPre-warm 30s antes de filmar · keep_warm=1 el día del demo
Persona del demo se quema/cocina malPractica la receta una vez antes · 2-3 candidatos de receta listos
Otro equipo presenta "recipe app con AI"Diferéncialo con: closed-loop visual + español + cocina mx + dataset publicado + persona real

10Cómo gastar los créditos

Modal · $250

Flux dev (días 1-9)$5-15
Dataset cocina mx$3-8
LoRA + sweeps$4-5
Eval$1
Inferencia grading jueces$10-25
Subtotal$25-65
+ Buffer$30
Proyectado~$55-95 / $250

OpenAI Codex · $100

Codex CLI pair-programmer$20-40
200 recetas mx sintéticas$10-25
Prompts Flux por paso$5-10
Reserva$30
Proyectado~$65-105 / $100
Mantra del proyecto: "Una mamá cocinando frente a la cámara. Un platillo que se ve apetitoso. Una voz que la acompaña sin juzgar. Un paso a la vez."