mramirez2001 commited on
Commit
5a21258
·
verified ·
1 Parent(s): cc1c0a9

Upload app.py

Browse files
Files changed (1) hide show
  1. app.py +57 -89
app.py CHANGED
@@ -17,102 +17,81 @@ except TypeError:
17
  api_key_found = False
18
 
19
  print("Cargando modelo de Whisper...")
20
- whisper_model = whisper.load_model("base")
21
  print("Modelo de Whisper cargado.")
22
 
23
- # --- NUEVO SÚPER-PROMPT ---
 
24
  SYSTEM_PROMPT = """
25
- Eres un examinador de inglés de Cambridge con un doctorado en fonética. Tu tarea es realizar una evaluación integral de la pronunciación y fluidez de un hablante no nativo.
 
 
26
 
27
- **Recibirás:**
28
- 1. La **frase de referencia** que el usuario intentaba decir.
29
- 2. La **transcripción literal** de su audio, generada por Whisper.
30
- 3. **Métricas de fluidez**: WPM (palabras por minuto) y número de pausas.
31
 
32
- **Tu proceso de análisis debe ser el siguiente:**
 
33
 
34
- 1. **Análisis Palabra por Palabra**: Compara la "frase de referencia" con la "transcripción de Whisper". Para cada palabra en la frase de referencia, determina si fue:
35
- * **Correcta (100%)**: Pronunciada de forma clara e inteligible.
36
- * **Incorrecta (0-50%)**: Pronunciada de forma que cambia el significado o es difícil de entender.
37
- * **Omitida (0%)**: No se dijo.
38
- 2. **Calcular Accuracy Total**: Calcula el promedio de la puntuación de todas las palabras para obtener una calificación global de 0 a 100.
39
- 3. **Evaluar Fluidez**: Usa las métricas de WPM y pausas para escribir un breve análisis sobre el ritmo y la cadencia del hablante. (Ej. WPM < 100 es lento, WPM > 140 es fluido).
40
- 4. **Asignar Nivel MCERL**: Basándote en el accuracy, la fluidez y la complejidad de los errores, asigna un nivel de Marco Común Europeo (A1, A2, B1, B2, C1).
41
- 5. **Generar Feedback Adaptativo**: Crea una respuesta en inglés para el usuario. La respuesta debe ser retadora pero comprensible según el nivel que le asignaste.
42
 
43
- **Tu respuesta DEBE ser únicamente un objeto JSON con esta estructura exacta:**
 
 
 
 
44
  {
45
- "calificacion_general_100": integer,
46
- "nivel_mcerl_estimado": "string (ej. B1)",
47
- "analisis_por_palabra": [
48
  {
49
  "palabra": "string",
50
- "accuracy": integer,
51
- "feedback": "string (Feedback específico si hay un error, ej. 'La vocal 'a' sonó como 'e'.')"
 
 
 
 
 
 
52
  }
53
  ],
54
- "feedback_general_html": "string (Un párrafo en HTML con tu análisis sobre fluidez, prosodia y consejos generales.)",
55
- "respuesta_adaptada_al_usuario": "string (El feedback final para el usuario, escrito en un inglés apropiado para su nivel.)"
56
  }
57
  """
58
 
59
-
60
- # --- 1. FUNCIÓN DE EXTRACCIÓN DE CARACTERÍSTICAS (SIMPLIFICADA) ---
61
  def extract_audio_metrics(audio_path):
62
  try:
63
  y, sr = librosa.load(audio_path, sr=16000)
64
  duration = librosa.get_duration(y=y, sr=sr)
65
  if duration < 0.2: return {}
66
-
67
  result = whisper_model.transcribe(audio_path, word_timestamps=True, fp16=False)
68
- if not result["segments"] or not result["segments"][0]["words"]: return {"text": result.get("text", "")}
69
-
70
- words = result["segments"][0]["words"]
71
- num_words = len(words)
72
- wpm = (num_words / duration) * 60 if duration > 0 else 0
73
-
74
- pauses = 0
75
- for i in range(len(words) - 1):
76
- if words[i+1]['start'] - words[i]['end'] > 0.5:
77
- pauses += 1
78
-
79
- return {
80
- "text": result.get("text", ""),
81
- "wpm": round(wpm, 2),
82
- "num_pauses": pauses
83
- }
84
  except Exception as e:
85
  print(f"Error en extracción de métricas: {e}")
86
  return {}
87
 
88
 
89
- # --- 2. FUNCIÓN PRINCIPAL DE EVALUACIÓN (TODO CON LA API) ---
90
- def evaluate_with_openai(audio_input, reference_transcript):
91
- if not api_key_found:
92
- raise gr.Error("Clave de API de OpenAI no encontrada.")
93
  if audio_input is None or not reference_transcript:
94
- return 0, "N/A", "Proporciona un audio y una transcripción.", "Esperando análisis...", "Esperando análisis..."
95
 
96
  sr, y = audio_input
97
  temp_audio_path = "temp_audio.wav"
98
  sf.write(temp_audio_path, y, sr)
99
 
100
- # 1. Extraer métricas básicas del audio
101
  audio_metrics = extract_audio_metrics(temp_audio_path)
102
- if not audio_metrics:
103
- return 0, "Error", "No se pudo procesar el audio.", "Error", "Error"
104
 
105
- # 2. Construir el prompt para la API
106
  user_prompt = f"""
107
  **Frase de referencia:** "{reference_transcript}"
108
- **Transcripción de Whisper:** "{audio_metrics.get('text', '')}"
109
- **Métricas de fluidez:**
110
- - WPM: {audio_metrics.get('wpm', 'N/A')}
111
- - Pausas (>0.5s): {audio_metrics.get('num_pauses', 'N/A')}
112
  """
113
 
114
- # 3. Llamar a la API de OpenAI
115
- print("Enviando a GPT-4o para evaluación completa...")
116
  response = client.chat.completions.create(
117
  model="gpt-4o",
118
  response_format={"type": "json_object"},
@@ -122,33 +101,26 @@ def evaluate_with_openai(audio_input, reference_transcript):
122
  ]
123
  )
124
 
125
- # 4. Procesar y formatear la respuesta JSON
126
  try:
127
  result = json.loads(response.choices[0].message.content)
128
 
129
- # Formatear el análisis por palabra en Markdown
130
- word_analysis_md = "### Análisis por Palabra\n| Palabra | Puntuación | Feedback |\n| :--- | :--- | :--- |\n"
131
- for item in result.get("analisis_por_palabra", []):
132
- word_analysis_md += f"| {item.get('palabra')} | {item.get('accuracy')}% | {item.get('feedback')} |\n"
133
-
134
- return (
135
- result.get("calificacion_general_100", 0),
136
- result.get("nivel_mcerl_estimado", "N/A"),
137
- gr.HTML(result.get("feedback_general_html", "")),
138
- word_analysis_md,
139
- result.get("respuesta_adaptada_al_usuario", "")
140
- )
141
 
142
  except (json.JSONDecodeError, KeyError) as e:
143
  print(f"Error procesando la respuesta de la API: {e}")
144
- error_msg = "La respuesta de la API no tuvo el formato esperado. Inténtalo de nuevo."
145
- return 0, "Error", error_msg, error_msg, error_msg
146
 
147
 
148
- # --- 3. INTERFAZ DE GRADIO ---
149
  with gr.Blocks(theme=gr.themes.Soft()) as demo:
150
- gr.Markdown("# 🤖 Evaluador de Pronunciación Impulsado por IA (v4)")
151
- gr.Markdown("Graba tu voz diciendo la frase de referencia. La IA analizará cada palabra, tu fluidez, y te dará una calificación y feedback adaptado a tu nivel.")
152
 
153
  frase_ejemplo = "The rainbow is a division of white light into many beautiful colors."
154
 
@@ -156,24 +128,20 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
156
  with gr.Column(scale=1):
157
  audio_in = gr.Audio(sources=["microphone"], type="numpy", label="1. Graba tu voz aquí")
158
  text_in = gr.Textbox(lines=3, label="2. Frase de Referencia", value=frase_ejemplo)
159
- submit_btn = gr.Button("Evaluar Pronunciación", variant="primary")
160
 
161
  with gr.Column(scale=2):
162
- gr.Markdown("### Resultados de la Evaluación")
163
- with gr.Row():
164
- score_out = gr.Number(label="Calificación General (0-100)", scale=1)
165
- level_out = gr.Textbox(label="Nivel MCERL Estimado", scale=1)
166
-
167
- feedback_html_out = gr.HTML(label="Análisis General de Fluidez y Prosodia")
168
- word_analysis_out = gr.Markdown(label="Detalle por Palabra")
169
-
170
- gr.Markdown("--- \n ### Mensaje de tu Tutor de IA")
171
- adaptive_response_out = gr.Textbox(label="Feedback Adaptado a tu Nivel", lines=5)
172
 
173
  submit_btn.click(
174
- fn=evaluate_with_openai,
175
  inputs=[audio_in, text_in],
176
- outputs=[score_out, level_out, feedback_html_out, word_analysis_out, adaptive_response_out]
177
  )
178
 
179
  if __name__ == "__main__":
 
17
  api_key_found = False
18
 
19
  print("Cargando modelo de Whisper...")
20
+ whisper_model = whisper.load_model("base", device="cpu") # Especificar CPU puede ayudar en algunos sistemas
21
  print("Modelo de Whisper cargado.")
22
 
23
+
24
+ # --- CAMBIO CLAVE: El nuevo súper-prompt ---
25
  SYSTEM_PROMPT = """
26
+ Eres "Echo", un tutor de inglés y experto en fonética con la personalidad amigable y paciente de un coach de idiomas. Tu objetivo es doble: mantener una conversación natural y proporcionar un análisis técnico impecable de la pronunciación del usuario.
27
+
28
+ **Tu proceso de análisis es un riguroso examen en 4 pasos:**
29
 
30
+ **Paso 1: Transcripción Fonética (IPA)**
31
+ Para cada palabra de la **frase de referencia**, obtén su transcripción fonética estándar en IPA (Alfabeto Fonético Internacional) bajo el modelo de Inglés Americano General.
 
 
32
 
33
+ **Paso 2: Descomposición en Fonemas**
34
+ Descompón la transcripción IPA de cada palabra en sus fonemas constituyentes.
35
 
36
+ **Paso 3: Diagnóstico de Errores por Inferencia**
37
+ Compara la **transcripción de Whisper** con la **frase de referencia**. Si Whisper transcribió una palabra de forma diferente (ej. "tink" en lugar de "think"), infiere qué fonema fue probablemente el incorrecto. Por ejemplo, un error en "think" a menudo implica que el fonema /θ/ se pronunció como /t/. Asigna un estado a cada fonema: 'Correcto' o 'A Mejorar'.
 
 
 
 
 
 
38
 
39
+ **Paso 4: Generar la Respuesta Conversacional**
40
+ Después del análisis técnico, crea una respuesta corta, amigable y humana que se relacione con el tema de la frase. Finaliza con una pregunta abierta para invitar al usuario a seguir hablando. (ej. "¡Excelente! Veo que hablamos de colores. ¿Cuál es tu color favorito y por qué?").
41
+
42
+ **Formato de Salida Obligatorio:**
43
+ Tu respuesta DEBE ser un objeto JSON válido, sin texto, explicaciones o comentarios adicionales fuera del JSON. La estructura debe ser la siguiente:
44
  {
45
+ "analisis_fonetico": [
 
 
46
  {
47
  "palabra": "string",
48
+ "ipa_correcta": "string (ej. /ˈreɪn.boʊ/)",
49
+ "fonemas": [
50
+ {
51
+ "fonema": "string (ej. /r/)",
52
+ "estado": "string (Debe ser 'Correcto' o 'A Mejorar')",
53
+ "feedback": "string (Solo si el estado es 'A Mejorar', da un consejo técnico conciso, ej. 'La punta de la lengua debe vibrar cerca del paladar sin tocarlo.')"
54
+ }
55
+ ]
56
  }
57
  ],
58
+ "calificacion_general_100": integer,
59
+ "respuesta_conversacional": "string (Tu respuesta corta, amigable y con una pregunta abierta.)"
60
  }
61
  """
62
 
63
+ # --- La función de extracción de métricas se mantiene igual ---
 
64
  def extract_audio_metrics(audio_path):
65
  try:
66
  y, sr = librosa.load(audio_path, sr=16000)
67
  duration = librosa.get_duration(y=y, sr=sr)
68
  if duration < 0.2: return {}
 
69
  result = whisper_model.transcribe(audio_path, word_timestamps=True, fp16=False)
70
+ return {"text": result.get("text", "")}
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
71
  except Exception as e:
72
  print(f"Error en extracción de métricas: {e}")
73
  return {}
74
 
75
 
76
+ # --- CAMBIO CLAVE: La función principal ahora procesa el nuevo JSON ---
77
+ def evaluate_pronunciation(audio_input, reference_transcript):
78
+ if not api_key_found: raise gr.Error("Clave de API de OpenAI no encontrada.")
 
79
  if audio_input is None or not reference_transcript:
80
+ return "Por favor, proporciona un audio y una transcripción.", 0, None
81
 
82
  sr, y = audio_input
83
  temp_audio_path = "temp_audio.wav"
84
  sf.write(temp_audio_path, y, sr)
85
 
 
86
  audio_metrics = extract_audio_metrics(temp_audio_path)
87
+ if not audio_metrics: return "Error al procesar el audio.", 0, None
 
88
 
 
89
  user_prompt = f"""
90
  **Frase de referencia:** "{reference_transcript}"
91
+ **Transcripción de Whisper:** "{audio_metrics.get('text', '(Silencio detectado)')}"
 
 
 
92
  """
93
 
94
+ print("Enviando a GPT-4o para análisis fonético y conversacional...")
 
95
  response = client.chat.completions.create(
96
  model="gpt-4o",
97
  response_format={"type": "json_object"},
 
101
  ]
102
  )
103
 
 
104
  try:
105
  result = json.loads(response.choices[0].message.content)
106
 
107
+ # Extraer los datos del nuevo formato JSON
108
+ conversational_reply = result.get("respuesta_conversacional", "¡Buen intento! Inténtalo de nuevo.")
109
+ overall_score = result.get("calificacion_general_100", 0)
110
+ phonetic_analysis = result.get("analisis_fonetico", {})
111
+
112
+ return conversational_reply, overall_score, phonetic_analysis
 
 
 
 
 
 
113
 
114
  except (json.JSONDecodeError, KeyError) as e:
115
  print(f"Error procesando la respuesta de la API: {e}")
116
+ error_msg = "Lo siento, la respuesta de la API no tuvo el formato esperado. Por favor, intenta de nuevo."
117
+ return error_msg, 0, {"error": str(e)}
118
 
119
 
120
+ # --- CAMBIO CLAVE: Nueva interfaz de Gradio más limpia ---
121
  with gr.Blocks(theme=gr.themes.Soft()) as demo:
122
+ gr.Markdown("# 🎤 Echo: Tu Tutor de Pronunciación (v5)")
123
+ gr.Markdown("Graba tu voz diciendo la frase de referencia. Recibirás una respuesta conversacional y un análisis técnico detallado de tu pronunciación.")
124
 
125
  frase_ejemplo = "The rainbow is a division of white light into many beautiful colors."
126
 
 
128
  with gr.Column(scale=1):
129
  audio_in = gr.Audio(sources=["microphone"], type="numpy", label="1. Graba tu voz aquí")
130
  text_in = gr.Textbox(lines=3, label="2. Frase de Referencia", value=frase_ejemplo)
131
+ submit_btn = gr.Button("Evaluar mi Pronunciación", variant="primary")
132
 
133
  with gr.Column(scale=2):
134
+ gr.Markdown("### Respuesta de tu Tutor")
135
+ tutor_reply_out = gr.Textbox(label="Echo dice:", lines=4, interactive=False)
136
+ score_out = gr.Number(label="Calificación General (0-100)", interactive=False)
137
+
138
+ with gr.Accordion("Ver Análisis Fonético Detallado", open=False):
139
+ phonetic_analysis_out = gr.JSON(label="Desglose Técnico por Palabra y Fonema")
 
 
 
 
140
 
141
  submit_btn.click(
142
+ fn=evaluate_pronunciation,
143
  inputs=[audio_in, text_in],
144
+ outputs=[tutor_reply_out, score_out, phonetic_analysis_out]
145
  )
146
 
147
  if __name__ == "__main__":