avps / app.py
rastadidi's picture
Update app.py
b5b5bde verified
import re
import gradio as gr
import pandas as pd
import numpy as np
import markdown as md_lib
from datasets import load_dataset
from sentence_transformers import SentenceTransformer
# --- Chargement du modèle (une seule fois au démarrage) ---
print("Chargement du modèle BAAI/bge-m3...")
model = SentenceTransformer("BAAI/bge-m3")
print("Modèle prêt.")
# --- Chargement des données ---
ds = load_dataset("opt-nc/avps", split="train")
df = ds.to_pandas()
embeddings_matrix = np.array(df["embedding"].tolist(), dtype=np.float32)
norms = np.linalg.norm(embeddings_matrix, axis=1, keepdims=True)
embeddings_norm = embeddings_matrix / (norms + 1e-10)
job_index = {str(row["id"]): dict(row) for _, row in df.iterrows()}
# --- TF-IDF léger pour extraire les mots-clés saillants de chaque annonce ---
import math
from collections import Counter
STOPWORDS = set("""
le la les un une des de du en et à au aux ce qui que qu est par sur dans pour avec
ou si bien plus mais aussi car dont où ses son sa leur leurs nos vos
il elle ils elles je tu nous vous me te se lui y
être avoir faire pouvoir devoir vouloir aller savoir
tout tous toute toutes cette cet ces même très peu
""".split())
def tokenize(text):
words = re.sub(r'[^a-zàâçéèêëîïôûùüÿæœ]', ' ', text.lower()).split()
return [w for w in words if len(w) > 3 and w not in STOPWORDS]
# Calcul IDF sur le corpus
corpus_tokens = [tokenize(str(row.get("text", ""))) for _, row in df.iterrows()]
N = len(corpus_tokens)
df_counts = Counter()
for tokens in corpus_tokens:
df_counts.update(set(tokens))
idf = {w: math.log(N / (1 + c)) for w, c in df_counts.items()}
# Calcul TF-IDF par annonce → top 3 mots
def top_keywords(tokens, n=3):
tf = Counter(tokens)
total = len(tokens) or 1
scores = {w: (tf[w]/total) * idf.get(w, 0) for w in tf}
return [w for w, _ in sorted(scores.items(), key=lambda x: -x[1])[:n]]
# Pré-calcul pour toutes les annonces
keywords_by_id = {}
for (_, row), tokens in zip(df.iterrows(), corpus_tokens):
keywords_by_id[str(row["id"])] = top_keywords(tokens)
_model_ready = False
def encode_query(text: str):
global _model_ready
try:
vec = model.encode(text, normalize_embeddings=True)
_model_ready = True
return np.array(vec, dtype=np.float32)
except Exception as e:
print(f"encode_query error: {e}")
return None
def fmt_date(d):
if not d or str(d) in ("NaT", "None", "nan"):
return ""
try:
dt = pd.to_datetime(d)
delta = (dt - pd.Timestamp.now()).days
urgence = " 🔴" if delta <= 7 else (" 🟡" if delta <= 14 else "")
return dt.strftime("%d/%m/%Y") + urgence
except Exception:
return str(d)[:10]
def score_widget(score):
pct = int(round(score * 100))
if pct >= 70:
bg, color, label = "#d1fae5", "#065f46", f"✦ {pct}%"
tip = f"{pct}% — très bonne correspondance"
elif pct >= 50:
bg, color, label = "#fef3c7", "#92400e", f"◈ {pct}%"
tip = f"{pct}% — correspondance correcte"
else:
bg, color, label = "#f3f4f6", "#6b7280", f"○ {pct}%"
tip = f"{pct}% — correspondance partielle"
tooltip = (
f"{tip}. Score de similarité sémantique entre votre profil "
"et le texte de l&#39;annonce (missions, compétences), "
"calculé par le modèle BAAI/bge-m3. 100% = correspondance parfaite."
)
return (
f'<span title="{tooltip}" '
f'style="background:{bg};color:{color};font-size:11px;font-weight:600;'
f'padding:3px 9px;border-radius:12px;white-space:nowrap;cursor:help;'
f'border-bottom:1px dotted {color}">{label} match</span>'
)
GRAY = "color:#6b7280 !important"
def md_to_html_highlighted(text_md, qwords):
"""Convertit le markdown en HTML, force les couleurs inline, surligne les mots-clés."""
if not text_md:
return ""
html = md_lib.markdown(text_md, extensions=["nl2br", "sane_lists"])
for tag in ("p", "li", "ul", "ol", "h1", "h2", "h3", "h4", "strong", "em"):
html = html.replace(f"<{tag}>", f'<{tag} style="{GRAY}">')
html = re.sub(f'<{tag} ((?!style=)[^>]*)>', f'<{tag} style="{GRAY}" \\1>', html)
if qwords:
for w in qwords:
html = re.sub(
r"(?<![<\w])(" + re.escape(w) + r")(?![>\w])",
r'<mark>\1</mark>',
html, flags=re.IGNORECASE
)
return html
def render_cards(results_df, scores=None, qwords=None):
if results_df.empty:
return "<p style='color:#888;text-align:center;padding:2rem'>Aucun résultat.</p>"
cards = []
for i, (_, row) in enumerate(results_df.iterrows()):
job_id = str(row.get("id") or "")
titre = row.get("titre") or "Poste sans titre"
numero = row.get("numero") or job_id
direction = row.get("direction_interne_acronyme") or ""
service = row.get("service_acronyme") or ""
grade = row.get("corps_grade") or ""
lieu = row.get("lieu_travail") or ""
immed = row.get("disponible_immediatement", False)
cloture = fmt_date(row.get("date_cloture"))
url = row.get("url") or ""
texte_md = row.get("text") or ""
score = scores[i] if scores is not None else None
dir_str = direction + (f" › {service}" if service else "")
meta = " · ".join(p for p in [dir_str, grade, lieu] if p)
badges = ""
if score is not None:
badges += score_widget(score) + " "
if immed:
badges += ('<span style="background:#d1fae5;color:#065f46;font-size:11px;'
'font-weight:600;padding:3px 9px;border-radius:12px">⚡ Immédiat</span>')
cloture_html = f'<span style="font-size:11px;color:#6b7280">🗓 {cloture}</span>' if cloture else ""
ref_html = f'<span style="font-size:11px;color:#a78bfa">#{numero}</span>'
# Tags TF-IDF
kw = keywords_by_id.get(job_id, [])
tags_html = ""
if kw:
tags = " ".join(
f'<span style="font-size:11px;padding:3px 9px;border-radius:10px;'
f'background:#4338ca;color:#ffffff;font-weight:500;letter-spacing:0.01em">'
f'#{w}</span>'
for w in kw
)
tags_html = f'<div style="display:flex;gap:5px;flex-wrap:wrap;margin-bottom:8px">{tags}</div>'
# Aperçu HTML du markdown avec surlignage
preview_html = md_to_html_highlighted(texte_md, qwords)
preview_block = f"""
<div style="font-size:12px;line-height:1.5;margin-top:10px;max-height:150px;
overflow:hidden;position:relative;
color:#6b7280 !important">
<div style="color:#6b7280 !important">{preview_html}</div>
<div style="position:absolute;bottom:0;left:0;right:0;height:36px;
background:linear-gradient(rgba(255,255,255,0),rgba(30,30,30,0.01))"></div>
</div>"""
annonce_btn = (
f'<a href="{url}" target="_blank" onclick="event.stopPropagation()" '
f'style="padding:6px 14px;background:#2563eb;color:#fff;border-radius:8px;'
f'text-decoration:none;font-size:13px;font-weight:500">Voir →</a>'
if url else ""
)
cards.append(f"""
<div id="card-{job_id}"
style="background:#fff;border:1px solid #e5e7eb;border-radius:12px;
padding:14px 16px;margin-bottom:10px;cursor:pointer;transition:border-color 0.15s,background 0.15s"
onmouseenter="this.style.borderColor='#93c5fd'"
onmouseleave="if(!this.classList.contains('selected'))this.style.borderColor='#e5e7eb'"
onclick="selectJob('{job_id}', this)">
<div style="display:flex;justify-content:space-between;align-items:flex-start;
flex-wrap:wrap;gap:6px;margin-bottom:4px">
<span style="font-size:15px;font-weight:600;color:#111;line-height:1.3;flex:1;min-width:0">{titre}</span>
<div style="display:flex;gap:4px;align-items:center;flex-shrink:0;flex-wrap:wrap">{badges}</div>
</div>
<p style="font-size:12px;color:#6b7280;margin:0 0 4px">{meta}</p>
<div style="display:flex;gap:10px;align-items:center;flex-wrap:wrap;margin-bottom:8px">
{cloture_html}{ref_html}
</div>
{tags_html}
{preview_block}
<div style="margin-top:10px">{annonce_btn}</div>
</div>""")
n = len(results_df)
header = f'<p style="font-size:13px;color:#6b7280;margin-bottom:10px">{n} offre{"s" if n > 1 else ""} trouvée{"s" if n > 1 else ""}</p>'
return header + "\n".join(cards)
def render_detail(job_id: str):
row = job_index.get(str(job_id))
if not row:
return ""
titre = row.get("titre") or "Poste sans titre"
direction= row.get("direction_interne") or ""
service = row.get("service") or ""
grade = row.get("corps_grade") or ""
lieu = row.get("lieu_travail") or ""
immed = row.get("disponible_immediatement", False)
cloture = fmt_date(row.get("date_cloture"))
url = row.get("url") or ""
url_pdf = row.get("url_pdf") or ""
texte_md = row.get("text") or ""
numero = row.get("numero") or job_id
body_html = md_lib.markdown(texte_md, extensions=["nl2br", "sane_lists"])
dir_str = direction + (f" › {service}" if service else "")
meta = " · ".join(p for p in [dir_str, grade, lieu] if p)
immed_html = (
'<span style="background:#d1fae5;color:#065f46;font-size:12px;padding:3px 10px;'
'border-radius:12px;font-weight:600">⚡ Disponible immédiatement</span> '
if immed else ""
)
cloture_html = f'<span style="font-size:12px;color:#6b7280">🗓 Clôture : {cloture}</span>' if cloture else ""
btns = ""
if url:
btns += (f'<a href="{url}" target="_blank" style="padding:8px 16px;background:#2563eb;'
f'color:#fff;border-radius:8px;text-decoration:none;font-size:13px;'
f'font-weight:500;margin-right:8px">🌐 Voir l\'annonce</a>')
if url_pdf:
btns += (f'<a href="{url_pdf}" target="_blank" style="padding:8px 16px;'
f'background:#f3f4f6;color:#374151;border-radius:8px;text-decoration:none;'
f'font-size:13px;font-weight:500">📎 PDF</a>')
share_url = f"https://opt-nc.github.io/avps/{numero}/"
share_text = f"AVP OPT-NC — {titre} ({numero})"
from urllib.parse import quote
se = quote(share_text)
ue = quote(share_url)
share_html = f"""
<div style="margin-top:16px;padding:12px;background:#f8fafc;border-radius:10px;border:1px solid #e2e8f0">
<p style="font-size:12px;color:#6b7280;margin:0 0 8px;font-weight:500">📤 Partager</p>
<div style="display:flex;gap:8px;flex-wrap:wrap">
<button onclick="navigator.clipboard.writeText('{share_url}').then(()=>alert('Lien copié !'))"
style="padding:5px 12px;background:#f1f5f9;color:#374151;border:1px solid #e2e8f0;
border-radius:8px;font-size:12px;cursor:pointer">📋 Copier le lien</button>
<a href="mailto:?subject={se}&body=Bonjour%2C%0A%0AVoici%20une%20AVP%20OPT-NC%20%3A%0A{ue}"
style="padding:5px 12px;background:#f1f5f9;color:#374151;border:1px solid #e2e8f0;
border-radius:8px;font-size:12px;text-decoration:none">✉️ Email</a>
<a href="https://wa.me/?text={se}%20{ue}" target="_blank"
style="padding:5px 12px;background:#f1f5f9;color:#374151;border:1px solid #e2e8f0;
border-radius:8px;font-size:12px;text-decoration:none">💬 WhatsApp</a>
</div>
</div>"""
return f"""
<div style="padding:4px 0">
<p style="font-size:11px;color:#9ca3af;margin:0 0 4px">#{numero}</p>
<h2 style="font-size:17px;font-weight:700;color:#111;margin:0 0 6px;line-height:1.3">{titre}</h2>
<p style="font-size:12px;color:#6b7280;margin:0 0 10px">{meta}</p>
<div style="display:flex;gap:8px;flex-wrap:wrap;align-items:center;margin-bottom:12px">
{immed_html}{cloture_html}
</div>
<div style="margin-bottom:16px">{btns}</div>
{share_html}
<hr style="border:none;border-top:1px solid #e5e7eb;margin:16px 0">
<div class="md-body" style="font-size:14px;color:#374151;line-height:1.7">{body_html}</div>
</div>"""
BANNER_SEMANTIC = """
<div style="display:flex;align-items:center;gap:8px;padding:10px 14px;margin-bottom:10px;
background:#1e3a5f;border:1px solid #3b82f6;border-radius:10px;font-size:13px">
<span style="font-size:16px">🧠</span>
<span style="color:#e0f2fe"><strong style="color:#fff">Recherche sémantique</strong> — résultats classés par similarité avec votre profil
(modèle local <a href="https://huggingface.co/BAAI/bge-m3" target="_blank"
style="color:#93c5fd;text-decoration:underline">BAAI/bge-m3</a>)</span>
</div>"""
BANNER_KEYWORDS = """
<div style="display:flex;align-items:center;gap:8px;padding:10px 14px;margin-bottom:10px;
background:#431407;border:1px solid #f97316;border-radius:10px;font-size:13px">
<span style="font-size:16px">⚠️</span>
<span style="color:#fed7aa"><strong style="color:#fff">Mode mots-clés</strong> — le modèle sémantique est en cours de chargement ou indisponible.
Résultats filtrés par mots-clés, relancez la recherche dans quelques secondes pour activer la recherche sémantique.</span>
</div>"""
BANNER_EMPTY = ""
def _search(query: str, threshold: float = 50) -> str:
"""
Recherche des Avis de Vacances de Poste (AVP) de l'OPT-NC par similarité sémantique.
Décrivez librement votre profil, vos compétences ou un intitulé de poste.
Les résultats sont classés par similarité avec le modèle BAAI/bge-m3.
Args:
query: Profil ou mots-clés à rechercher (ex: "ingénieur réseau télécoms management")
threshold: Score minimum de similarité en % (0-100, défaut 50)
Returns:
Liste des annonces correspondantes au format JSON (titre, direction, lieu, score, url)
"""
import json
min_score = threshold / 100.0
qwords = [w for w in query.lower().split() if len(w) > 2] if query.strip() else []
if not query.strip():
return render_cards(df), "", BANNER_EMPTY
q_vec = encode_query(query)
if q_vec is not None:
sims = embeddings_norm @ q_vec
order = np.argsort(sims)[::-1]
results = df.iloc[order].copy()
scores = sims[order].tolist()
mask = [s >= min_score for s in scores]
filtered = results[mask]
filtered_scores = [s for s, m in zip(scores, mask) if m]
return render_cards(filtered, filtered_scores, qwords), "", BANNER_SEMANTIC
else:
def score_row(row):
text = f"{row.get('titre','')} {row.get('text','')} {row.get('corps_grade','')}".lower()
return sum(1 for w in qwords if w in text)
df2 = df.copy()
df2["_s"] = df2.apply(score_row, axis=1)
df2 = df2[df2["_s"] > 0].sort_values("_s", ascending=False)
return render_cards(df2, scores=df2["_s"].tolist(), qwords=qwords), "", BANNER_KEYWORDS
def on_card_click(job_id):
if not job_id or not job_id.strip():
return ""
return render_detail(job_id.strip())
with gr.Blocks(title="AVPs OPT-NC") as demo:
gr.HTML("""<style>
.gradio-container { max-width: 1100px !important; }
footer { display: none !important; }
#query textarea { font-size: 15px !important; line-height: 1.5 !important; }
mark { background: #92400e; color: #fff !important; border-radius: 3px; padding: 0 3px; font-style: normal; }
.md-preview { color: #9ca3af !important; font-size: 12px !important; line-height: 1.5 !important; }
.md-preview p,.md-preview li { margin: 0 0 2px !important; color: #9ca3af !important; }
.md-preview strong { font-weight: 500 !important; color: #6b7280 !important; }
.md-preview h1,.md-preview h2,.md-preview h3 { font-size: 12px !important; font-weight: 600 !important; color: #6b7280 !important; margin: 3px 0 1px !important; }
.md-body h1,.md-body h2,.md-body h3 { font-weight:600; margin:12px 0 6px; }
.md-body ul,.md-body ol { padding-left:18px; margin:6px 0; }
.md-body p { margin:0 0 8px; }
@media (max-width: 640px) { #detail-panel { display: none !important; } }
</style>""")
gr.HTML(f"""
<div style="display:flex;justify-content:space-between;align-items:center;
flex-wrap:wrap;gap:8px;margin-bottom:1rem">
<div>
<h1 style="font-size:20px;font-weight:700;margin:0;color:#111">📋 AVPs OPT-NC</h1>
<p style="font-size:13px;color:#6b7280;margin:2px 0 0">Décrivez votre profil ou saisissez des mots-clés</p>
</div>
</div>""")
query_input = gr.Textbox(
elem_id="query", label="",
placeholder='Ex: "Cadre expérimenté en gestion de projets SI et management" — Entrée pour rechercher',
lines=1, max_lines=6, show_label=False,
)
with gr.Row():
search_btn = gr.Button("🔍 Rechercher", variant="primary", elem_id="search-btn", scale=1)
threshold_slider = gr.Slider(minimum=0, maximum=100, value=50, step=5,
label="Score minimum (%)", scale=2)
mode_banner = gr.HTML()
with gr.Row():
with gr.Column(scale=1, elem_id="results-col"):
results_html = gr.HTML()
with gr.Column(scale=1, elem_id="detail-panel"):
detail_html = gr.HTML(
'<div style="padding:2rem;color:#9ca3af;text-align:center;'
'border:1px dashed #e5e7eb;border-radius:12px;margin-top:4px">'
'Cliquez sur une vignette pour afficher le détail</div>'
)
hidden_id_input = gr.Textbox(visible=False, elem_id="hidden-job-id")
gr.HTML("""<script>
function selectJob(jobId, el) {
document.querySelectorAll('[id^="card-"]').forEach(function(c) {
c.classList.remove('selected');
c.style.borderColor = '#e5e7eb';
c.style.background = '#fff';
});
el.classList.add('selected');
el.style.borderColor = '#3b82f6';
el.style.background = '#eff6ff';
const ta = document.querySelector('#hidden-job-id textarea') ||
document.querySelector('#hidden-job-id input');
if (ta) {
ta.value = jobId;
ta.dispatchEvent(new Event('input', { bubbles: true }));
}
}
</script>""")
hidden_id_input.change(fn=on_card_click, inputs=hidden_id_input, outputs=detail_html)
inputs = [query_input, threshold_slider]
outputs = [results_html, detail_html, mode_banner]
search_btn.click(fn=_search, inputs=inputs, outputs=outputs, api_name=False)
query_input.submit(fn=_search, inputs=inputs, outputs=outputs, api_name=False)
threshold_slider.release(fn=_search, inputs=inputs, outputs=outputs, api_name=False)
demo.load(fn=_search, inputs=inputs, outputs=outputs, api_name=False)
def search_avps(query: str, threshold: float = 50) -> str:
"""
Recherche les Avis de Vacances de Poste (AVP) de l'OPT-NC
(Office des Postes et Télécommunications de Nouvelle-Calédonie).
Utilisation optimale :
- Décrire un profil complet plutôt que des mots-clés isolés améliore la précision
- Mentionner le domaine métier, le niveau hiérarchique et les compétences clés
- Baisser threshold (ex: 30) pour élargir les résultats, monter (ex: 70) pour affiner
Exemples de requêtes efficaces :
- "ingénieur réseau senior expérience cybersécurité SOC et management d'équipe"
- "cadre administratif pilotage budgétaire ressources humaines et conduite du changement"
- "technicien de maintenance réseaux télécoms fibre optique intervention terrain"
- "chef de projet SI transformation digitale MOA"
Chaque résultat contient :
- titre, numero, direction, service, grade, lieu
- disponible_immediatement (bool), date_cloture (YYYY-MM-DD)
- score : similarité cosinus [0.0-1.0] — au-dessus de 0.7 = très pertinent
- url : page web de l'annonce
- url_markdown : texte brut Markdown lisible directement par un LLM
- keywords : 3 mots-clés TF-IDF caractérisant l'annonce parmi le corpus
Args:
query: Description libre du profil ou intitulé de poste recherché
threshold: Score minimum de similarité en % entre 0 et 100 (défaut: 50)
Returns:
JSON array, 10 résultats max, triés par score décroissant
"""
import json
min_score = threshold / 100.0
if not query.strip():
return json.dumps([], ensure_ascii=False)
q_vec = encode_query(query)
if q_vec is not None:
sims = embeddings_norm @ q_vec
order = np.argsort(sims)[::-1]
results = df.iloc[order].copy()
scores = sims[order].tolist()
mask = [s >= min_score for s in scores]
filtered = results[mask].copy()
filtered_scores = [s for s, m in zip(scores, mask) if m]
else:
qwords = [w for w in query.lower().split() if len(w) > 2]
def score_row(row):
text = f"{row.get('titre','')} {row.get('text','')}".lower()
return sum(1 for w in qwords if w in text) / (len(qwords) + 1)
filtered = df.copy()
filtered["_s"] = filtered.apply(score_row, axis=1)
filtered = filtered[filtered["_s"] > 0].sort_values("_s", ascending=False)
filtered_scores = filtered["_s"].tolist()
def safe_str(v):
"""Convertit toute valeur en string, gère NaN, None, bool, numpy types."""
if v is None:
return ""
try:
if pd.isna(v):
return ""
except (TypeError, ValueError):
pass
return str(v)
out = []
for i, (_, row) in enumerate(filtered.iterrows()):
job_id = safe_str(row.get("id"))
numero = safe_str(row.get("numero")) or job_id
out.append({
"titre": safe_str(row.get("titre")),
"numero": numero,
"direction": safe_str(row.get("direction_interne_acronyme")),
"service": safe_str(row.get("service_acronyme")),
"grade": safe_str(row.get("corps_grade")),
"lieu": safe_str(row.get("lieu_travail")),
"disponible_immediatement": bool(row.get("disponible_immediatement")),
"date_cloture": safe_str(row.get("date_cloture")),
"score": round(float(filtered_scores[i]), 3),
"url": safe_str(row.get("url")),
"url_markdown": "https://raw.githubusercontent.com/opt-nc/avps/refs/heads/main/data/" + numero + ".md" if numero else "",
"keywords": keywords_by_id.get(job_id, []),
})
return json.dumps(out[:10], ensure_ascii=False, indent=2)
# --- Endpoint MCP search_avps via gr.api (pas de composants UI nécessaires) ---
with demo:
gr.api(search_avps, api_name="search_avps")
if __name__ == "__main__":
demo.launch(mcp_server=True)