Spaces:
Sleeping
Sleeping
Upload app.py
Browse files
app.py
CHANGED
|
@@ -17,102 +17,81 @@ except TypeError:
|
|
| 17 |
api_key_found = False
|
| 18 |
|
| 19 |
print("Cargando modelo de Whisper...")
|
| 20 |
-
whisper_model = whisper.load_model("base")
|
| 21 |
print("Modelo de Whisper cargado.")
|
| 22 |
|
| 23 |
-
|
|
|
|
| 24 |
SYSTEM_PROMPT = """
|
| 25 |
-
Eres un
|
|
|
|
|
|
|
| 26 |
|
| 27 |
-
**
|
| 28 |
-
|
| 29 |
-
2. La **transcripción literal** de su audio, generada por Whisper.
|
| 30 |
-
3. **Métricas de fluidez**: WPM (palabras por minuto) y número de pausas.
|
| 31 |
|
| 32 |
-
**
|
|
|
|
| 33 |
|
| 34 |
-
|
| 35 |
-
|
| 36 |
-
* **Incorrecta (0-50%)**: Pronunciada de forma que cambia el significado o es difícil de entender.
|
| 37 |
-
* **Omitida (0%)**: No se dijo.
|
| 38 |
-
2. **Calcular Accuracy Total**: Calcula el promedio de la puntuación de todas las palabras para obtener una calificación global de 0 a 100.
|
| 39 |
-
3. **Evaluar Fluidez**: Usa las métricas de WPM y pausas para escribir un breve análisis sobre el ritmo y la cadencia del hablante. (Ej. WPM < 100 es lento, WPM > 140 es fluido).
|
| 40 |
-
4. **Asignar Nivel MCERL**: Basándote en el accuracy, la fluidez y la complejidad de los errores, asigna un nivel de Marco Común Europeo (A1, A2, B1, B2, C1).
|
| 41 |
-
5. **Generar Feedback Adaptativo**: Crea una respuesta en inglés para el usuario. La respuesta debe ser retadora pero comprensible según el nivel que le asignaste.
|
| 42 |
|
| 43 |
-
**
|
|
|
|
|
|
|
|
|
|
|
|
|
| 44 |
{
|
| 45 |
-
"
|
| 46 |
-
"nivel_mcerl_estimado": "string (ej. B1)",
|
| 47 |
-
"analisis_por_palabra": [
|
| 48 |
{
|
| 49 |
"palabra": "string",
|
| 50 |
-
"
|
| 51 |
-
"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 52 |
}
|
| 53 |
],
|
| 54 |
-
"
|
| 55 |
-
"
|
| 56 |
}
|
| 57 |
"""
|
| 58 |
|
| 59 |
-
|
| 60 |
-
# --- 1. FUNCIÓN DE EXTRACCIÓN DE CARACTERÍSTICAS (SIMPLIFICADA) ---
|
| 61 |
def extract_audio_metrics(audio_path):
|
| 62 |
try:
|
| 63 |
y, sr = librosa.load(audio_path, sr=16000)
|
| 64 |
duration = librosa.get_duration(y=y, sr=sr)
|
| 65 |
if duration < 0.2: return {}
|
| 66 |
-
|
| 67 |
result = whisper_model.transcribe(audio_path, word_timestamps=True, fp16=False)
|
| 68 |
-
|
| 69 |
-
|
| 70 |
-
words = result["segments"][0]["words"]
|
| 71 |
-
num_words = len(words)
|
| 72 |
-
wpm = (num_words / duration) * 60 if duration > 0 else 0
|
| 73 |
-
|
| 74 |
-
pauses = 0
|
| 75 |
-
for i in range(len(words) - 1):
|
| 76 |
-
if words[i+1]['start'] - words[i]['end'] > 0.5:
|
| 77 |
-
pauses += 1
|
| 78 |
-
|
| 79 |
-
return {
|
| 80 |
-
"text": result.get("text", ""),
|
| 81 |
-
"wpm": round(wpm, 2),
|
| 82 |
-
"num_pauses": pauses
|
| 83 |
-
}
|
| 84 |
except Exception as e:
|
| 85 |
print(f"Error en extracción de métricas: {e}")
|
| 86 |
return {}
|
| 87 |
|
| 88 |
|
| 89 |
-
# ---
|
| 90 |
-
def
|
| 91 |
-
if not api_key_found:
|
| 92 |
-
raise gr.Error("Clave de API de OpenAI no encontrada.")
|
| 93 |
if audio_input is None or not reference_transcript:
|
| 94 |
-
return
|
| 95 |
|
| 96 |
sr, y = audio_input
|
| 97 |
temp_audio_path = "temp_audio.wav"
|
| 98 |
sf.write(temp_audio_path, y, sr)
|
| 99 |
|
| 100 |
-
# 1. Extraer métricas básicas del audio
|
| 101 |
audio_metrics = extract_audio_metrics(temp_audio_path)
|
| 102 |
-
if not audio_metrics:
|
| 103 |
-
return 0, "Error", "No se pudo procesar el audio.", "Error", "Error"
|
| 104 |
|
| 105 |
-
# 2. Construir el prompt para la API
|
| 106 |
user_prompt = f"""
|
| 107 |
**Frase de referencia:** "{reference_transcript}"
|
| 108 |
-
**Transcripción de Whisper:** "{audio_metrics.get('text', '')}"
|
| 109 |
-
**Métricas de fluidez:**
|
| 110 |
-
- WPM: {audio_metrics.get('wpm', 'N/A')}
|
| 111 |
-
- Pausas (>0.5s): {audio_metrics.get('num_pauses', 'N/A')}
|
| 112 |
"""
|
| 113 |
|
| 114 |
-
|
| 115 |
-
print("Enviando a GPT-4o para evaluación completa...")
|
| 116 |
response = client.chat.completions.create(
|
| 117 |
model="gpt-4o",
|
| 118 |
response_format={"type": "json_object"},
|
|
@@ -122,33 +101,26 @@ def evaluate_with_openai(audio_input, reference_transcript):
|
|
| 122 |
]
|
| 123 |
)
|
| 124 |
|
| 125 |
-
# 4. Procesar y formatear la respuesta JSON
|
| 126 |
try:
|
| 127 |
result = json.loads(response.choices[0].message.content)
|
| 128 |
|
| 129 |
-
#
|
| 130 |
-
|
| 131 |
-
|
| 132 |
-
|
| 133 |
-
|
| 134 |
-
return
|
| 135 |
-
result.get("calificacion_general_100", 0),
|
| 136 |
-
result.get("nivel_mcerl_estimado", "N/A"),
|
| 137 |
-
gr.HTML(result.get("feedback_general_html", "")),
|
| 138 |
-
word_analysis_md,
|
| 139 |
-
result.get("respuesta_adaptada_al_usuario", "")
|
| 140 |
-
)
|
| 141 |
|
| 142 |
except (json.JSONDecodeError, KeyError) as e:
|
| 143 |
print(f"Error procesando la respuesta de la API: {e}")
|
| 144 |
-
error_msg = "
|
| 145 |
-
return 0, "
|
| 146 |
|
| 147 |
|
| 148 |
-
# ---
|
| 149 |
with gr.Blocks(theme=gr.themes.Soft()) as demo:
|
| 150 |
-
gr.Markdown("#
|
| 151 |
-
gr.Markdown("Graba tu voz diciendo la frase de referencia.
|
| 152 |
|
| 153 |
frase_ejemplo = "The rainbow is a division of white light into many beautiful colors."
|
| 154 |
|
|
@@ -156,24 +128,20 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
|
|
| 156 |
with gr.Column(scale=1):
|
| 157 |
audio_in = gr.Audio(sources=["microphone"], type="numpy", label="1. Graba tu voz aquí")
|
| 158 |
text_in = gr.Textbox(lines=3, label="2. Frase de Referencia", value=frase_ejemplo)
|
| 159 |
-
submit_btn = gr.Button("Evaluar Pronunciación", variant="primary")
|
| 160 |
|
| 161 |
with gr.Column(scale=2):
|
| 162 |
-
gr.Markdown("###
|
| 163 |
-
|
| 164 |
-
|
| 165 |
-
|
| 166 |
-
|
| 167 |
-
|
| 168 |
-
word_analysis_out = gr.Markdown(label="Detalle por Palabra")
|
| 169 |
-
|
| 170 |
-
gr.Markdown("--- \n ### Mensaje de tu Tutor de IA")
|
| 171 |
-
adaptive_response_out = gr.Textbox(label="Feedback Adaptado a tu Nivel", lines=5)
|
| 172 |
|
| 173 |
submit_btn.click(
|
| 174 |
-
fn=
|
| 175 |
inputs=[audio_in, text_in],
|
| 176 |
-
outputs=[
|
| 177 |
)
|
| 178 |
|
| 179 |
if __name__ == "__main__":
|
|
|
|
| 17 |
api_key_found = False
|
| 18 |
|
| 19 |
print("Cargando modelo de Whisper...")
|
| 20 |
+
whisper_model = whisper.load_model("base", device="cpu") # Especificar CPU puede ayudar en algunos sistemas
|
| 21 |
print("Modelo de Whisper cargado.")
|
| 22 |
|
| 23 |
+
|
| 24 |
+
# --- CAMBIO CLAVE: El nuevo súper-prompt ---
|
| 25 |
SYSTEM_PROMPT = """
|
| 26 |
+
Eres "Echo", un tutor de inglés y experto en fonética con la personalidad amigable y paciente de un coach de idiomas. Tu objetivo es doble: mantener una conversación natural y proporcionar un análisis técnico impecable de la pronunciación del usuario.
|
| 27 |
+
|
| 28 |
+
**Tu proceso de análisis es un riguroso examen en 4 pasos:**
|
| 29 |
|
| 30 |
+
**Paso 1: Transcripción Fonética (IPA)**
|
| 31 |
+
Para cada palabra de la **frase de referencia**, obtén su transcripción fonética estándar en IPA (Alfabeto Fonético Internacional) bajo el modelo de Inglés Americano General.
|
|
|
|
|
|
|
| 32 |
|
| 33 |
+
**Paso 2: Descomposición en Fonemas**
|
| 34 |
+
Descompón la transcripción IPA de cada palabra en sus fonemas constituyentes.
|
| 35 |
|
| 36 |
+
**Paso 3: Diagnóstico de Errores por Inferencia**
|
| 37 |
+
Compara la **transcripción de Whisper** con la **frase de referencia**. Si Whisper transcribió una palabra de forma diferente (ej. "tink" en lugar de "think"), infiere qué fonema fue probablemente el incorrecto. Por ejemplo, un error en "think" a menudo implica que el fonema /θ/ se pronunció como /t/. Asigna un estado a cada fonema: 'Correcto' o 'A Mejorar'.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 38 |
|
| 39 |
+
**Paso 4: Generar la Respuesta Conversacional**
|
| 40 |
+
Después del análisis técnico, crea una respuesta corta, amigable y humana que se relacione con el tema de la frase. Finaliza con una pregunta abierta para invitar al usuario a seguir hablando. (ej. "¡Excelente! Veo que hablamos de colores. ¿Cuál es tu color favorito y por qué?").
|
| 41 |
+
|
| 42 |
+
**Formato de Salida Obligatorio:**
|
| 43 |
+
Tu respuesta DEBE ser un objeto JSON válido, sin texto, explicaciones o comentarios adicionales fuera del JSON. La estructura debe ser la siguiente:
|
| 44 |
{
|
| 45 |
+
"analisis_fonetico": [
|
|
|
|
|
|
|
| 46 |
{
|
| 47 |
"palabra": "string",
|
| 48 |
+
"ipa_correcta": "string (ej. /ˈreɪn.boʊ/)",
|
| 49 |
+
"fonemas": [
|
| 50 |
+
{
|
| 51 |
+
"fonema": "string (ej. /r/)",
|
| 52 |
+
"estado": "string (Debe ser 'Correcto' o 'A Mejorar')",
|
| 53 |
+
"feedback": "string (Solo si el estado es 'A Mejorar', da un consejo técnico conciso, ej. 'La punta de la lengua debe vibrar cerca del paladar sin tocarlo.')"
|
| 54 |
+
}
|
| 55 |
+
]
|
| 56 |
}
|
| 57 |
],
|
| 58 |
+
"calificacion_general_100": integer,
|
| 59 |
+
"respuesta_conversacional": "string (Tu respuesta corta, amigable y con una pregunta abierta.)"
|
| 60 |
}
|
| 61 |
"""
|
| 62 |
|
| 63 |
+
# --- La función de extracción de métricas se mantiene igual ---
|
|
|
|
| 64 |
def extract_audio_metrics(audio_path):
|
| 65 |
try:
|
| 66 |
y, sr = librosa.load(audio_path, sr=16000)
|
| 67 |
duration = librosa.get_duration(y=y, sr=sr)
|
| 68 |
if duration < 0.2: return {}
|
|
|
|
| 69 |
result = whisper_model.transcribe(audio_path, word_timestamps=True, fp16=False)
|
| 70 |
+
return {"text": result.get("text", "")}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 71 |
except Exception as e:
|
| 72 |
print(f"Error en extracción de métricas: {e}")
|
| 73 |
return {}
|
| 74 |
|
| 75 |
|
| 76 |
+
# --- CAMBIO CLAVE: La función principal ahora procesa el nuevo JSON ---
|
| 77 |
+
def evaluate_pronunciation(audio_input, reference_transcript):
|
| 78 |
+
if not api_key_found: raise gr.Error("Clave de API de OpenAI no encontrada.")
|
|
|
|
| 79 |
if audio_input is None or not reference_transcript:
|
| 80 |
+
return "Por favor, proporciona un audio y una transcripción.", 0, None
|
| 81 |
|
| 82 |
sr, y = audio_input
|
| 83 |
temp_audio_path = "temp_audio.wav"
|
| 84 |
sf.write(temp_audio_path, y, sr)
|
| 85 |
|
|
|
|
| 86 |
audio_metrics = extract_audio_metrics(temp_audio_path)
|
| 87 |
+
if not audio_metrics: return "Error al procesar el audio.", 0, None
|
|
|
|
| 88 |
|
|
|
|
| 89 |
user_prompt = f"""
|
| 90 |
**Frase de referencia:** "{reference_transcript}"
|
| 91 |
+
**Transcripción de Whisper:** "{audio_metrics.get('text', '(Silencio detectado)')}"
|
|
|
|
|
|
|
|
|
|
| 92 |
"""
|
| 93 |
|
| 94 |
+
print("Enviando a GPT-4o para análisis fonético y conversacional...")
|
|
|
|
| 95 |
response = client.chat.completions.create(
|
| 96 |
model="gpt-4o",
|
| 97 |
response_format={"type": "json_object"},
|
|
|
|
| 101 |
]
|
| 102 |
)
|
| 103 |
|
|
|
|
| 104 |
try:
|
| 105 |
result = json.loads(response.choices[0].message.content)
|
| 106 |
|
| 107 |
+
# Extraer los datos del nuevo formato JSON
|
| 108 |
+
conversational_reply = result.get("respuesta_conversacional", "¡Buen intento! Inténtalo de nuevo.")
|
| 109 |
+
overall_score = result.get("calificacion_general_100", 0)
|
| 110 |
+
phonetic_analysis = result.get("analisis_fonetico", {})
|
| 111 |
+
|
| 112 |
+
return conversational_reply, overall_score, phonetic_analysis
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 113 |
|
| 114 |
except (json.JSONDecodeError, KeyError) as e:
|
| 115 |
print(f"Error procesando la respuesta de la API: {e}")
|
| 116 |
+
error_msg = "Lo siento, la respuesta de la API no tuvo el formato esperado. Por favor, intenta de nuevo."
|
| 117 |
+
return error_msg, 0, {"error": str(e)}
|
| 118 |
|
| 119 |
|
| 120 |
+
# --- CAMBIO CLAVE: Nueva interfaz de Gradio más limpia ---
|
| 121 |
with gr.Blocks(theme=gr.themes.Soft()) as demo:
|
| 122 |
+
gr.Markdown("# 🎤 Echo: Tu Tutor de Pronunciación (v5)")
|
| 123 |
+
gr.Markdown("Graba tu voz diciendo la frase de referencia. Recibirás una respuesta conversacional y un análisis técnico detallado de tu pronunciación.")
|
| 124 |
|
| 125 |
frase_ejemplo = "The rainbow is a division of white light into many beautiful colors."
|
| 126 |
|
|
|
|
| 128 |
with gr.Column(scale=1):
|
| 129 |
audio_in = gr.Audio(sources=["microphone"], type="numpy", label="1. Graba tu voz aquí")
|
| 130 |
text_in = gr.Textbox(lines=3, label="2. Frase de Referencia", value=frase_ejemplo)
|
| 131 |
+
submit_btn = gr.Button("Evaluar mi Pronunciación", variant="primary")
|
| 132 |
|
| 133 |
with gr.Column(scale=2):
|
| 134 |
+
gr.Markdown("### Respuesta de tu Tutor")
|
| 135 |
+
tutor_reply_out = gr.Textbox(label="Echo dice:", lines=4, interactive=False)
|
| 136 |
+
score_out = gr.Number(label="Calificación General (0-100)", interactive=False)
|
| 137 |
+
|
| 138 |
+
with gr.Accordion("Ver Análisis Fonético Detallado", open=False):
|
| 139 |
+
phonetic_analysis_out = gr.JSON(label="Desglose Técnico por Palabra y Fonema")
|
|
|
|
|
|
|
|
|
|
|
|
|
| 140 |
|
| 141 |
submit_btn.click(
|
| 142 |
+
fn=evaluate_pronunciation,
|
| 143 |
inputs=[audio_in, text_in],
|
| 144 |
+
outputs=[tutor_reply_out, score_out, phonetic_analysis_out]
|
| 145 |
)
|
| 146 |
|
| 147 |
if __name__ == "__main__":
|