Spaces:

---

cnil

/

genmod

like 8

Running

Résumé

Cette PR hérite de allow-concurrent-searches et ajoute un pipeline reproductible pour actualiser chaque semaine le graphe à partir du dataset public cfahlgren1/hub-stats.

Principales modifications

• téléchargement des snapshots models et datasets de cfahlgren1/hub-stats ;
• extraction des filiations baseModels et des liens dataset:* avec DuckDB ;
• reconstruction hors ligne du dump Neo4j, adaptée aux millions de lignes ;
• publication atomique du dump et de sa métadonnée dans le dataset privé CNIL ;
• révision weekly-refresh prévue pour tester le dump avant la production ;
• date de mise à jour affichée à partir du dump réellement chargé, en français et en anglais ;
• commande documentée pour programmer un Hugging Face Scheduled Job hebdomadaire.

Validation

Le prétraitement a été exécuté sur un échantillon réel de 1 000 modèles et 1 000 datasets. Les CSV produits contiennent les nœuds référencés absents du snapshot et des relations cohérentes pour l’import Neo4j.

Le Job payant n’est pas programmé automatiquement par cette PR : son activation reste une décision explicite de l’administrateur du compte ou de l’organisation.