Cobtras commited on
Commit
ef5d19c
·
verified ·
1 Parent(s): 85c4795

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +122 -3
README.md CHANGED
@@ -1,3 +1,122 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ ---
4
+
5
+ <Modellname>: RTM133Lifting
6
+
7
+ https://img.shields.io/badge/%25F0%259F%25A4%2597-Model%2520Hub-yellow
8
+ https://img.shields.io/badge/License-MIT-green.svg
9
+ https://badge.fury.io/py/%3Cdein-paketname%3E.svg
10
+ https://img.shields.io/badge/Framework-PyTorch-orange
11
+
12
+ Dieses Repository enthält ein Modell für 3D-Ganzkörper-Poseschätzung, das auf dem WholeBody3D (H3WB) Datensatz und der Referenzarchitektur trainiert wurde. Das Modell schätzt gleichzeitig die 3D-Posen von Körper, Händen und Gesicht aus einem einzelnen RGB-Bild.
13
+ 📋 Modell-Details
14
+
15
+ Entwickler: Jonas D. Stephan, Nathalie Dollmann
16
+
17
+ Architektur: [Beschreibe die Architektur, z.B. "basierend auf der HRNet-Backbone Architektur von H3WB" oder nenne deine eigene]
18
+
19
+ Trainingsdaten: WholeBody3D (H3WB) Datensatz.
20
+
21
+ Framework: PyTorch
22
+
23
+ Input: Einzelnes RGB-Bild (Auflösung: <z.B. 256x256>)
24
+
25
+ Output: 3D-Koordinaten für Körper- (133 Keypoints), Hand- (42 Keypoints) und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert.
26
+
27
+ 🚀 Schnellstart
28
+ Installation
29
+ bash
30
+
31
+ # Installation via PyPI
32
+ pip install <dein-paketname>
33
+
34
+ # Oder direkt aus dem Repository
35
+ pip install git+https://github.com/<dein-username>/<dein-repo>.git
36
+
37
+ Grundlegende Verwendung
38
+ python
39
+
40
+ import torch
41
+ from <dein-paketname> import <ModellKlasse>, utils
42
+
43
+ # 1. Modell laden
44
+ model = <ModellKlasse>.from_pretrained("<dein-username>/<dein-modellname>")
45
+ model.eval()
46
+
47
+ # 2. Bild vorbereiten (Beispiel)
48
+ image = utils.load_and_preprocess_image("dein_bild.jpg")
49
+
50
+ # 3. Inferenz durchführen
51
+ with torch.no_grad():
52
+ predictions = model(image)
53
+
54
+ # 4. Ergebnisse verarbeiten (z.B. Visualisierung)
55
+ utils.visualize_3d_pose(predictions)
56
+
57
+ 📥 Modell-Download
58
+
59
+ Das vortrainierte Modell wird automatisch über from_pretrained() heruntergeladen. Für einen manuellen Download:
60
+ python
61
+
62
+ from huggingface_hub import hf_hub_download
63
+ import torch
64
+
65
+ model_path = hf_hub_download(
66
+ repo_id="<dein-username>/<dein-modellname>",
67
+ filename="model_weights.pth"
68
+ )
69
+ state_dict = torch.load(model_path, map_location='cpu')
70
+
71
+ 📊 Evaluation & Leistung
72
+
73
+ Die Leistung wurde auf dem H3WB-Testset evaluiert:
74
+ Teil Metrik Wert Anmerkung
75
+ Körper MPJPE (mm) <Wert> Mean Per Joint Position Error
76
+ Hände MPJPE (mm) <Wert>
77
+ Gesicht - <Wert> [z.B. NME oder 3DMM-Fehler]
78
+ Ganzkörper Durchschnitt MPJPE (mm) <Gesamtwert>
79
+
80
+ Hinweis: Ersetze <Wert> mit deinen tatsächlichen Evaluationsergebnissen. Falls du keine formale Evaluation durchgeführt hast, kannst du diesen Abschnitt weglassen oder mit "In Kürze verfügbar" markieren.
81
+
82
+ 🏋️ Training
83
+
84
+ Dieses Modell wurde von Grund auf neu auf dem H3WB-Datensatz trainiert.
85
+
86
+ Epochen: <Anzahl>
87
+
88
+ Batch-Größe: <Größe>
89
+
90
+ Optimierer: <z.B. AdamW>
91
+
92
+ Learning Rate: <z.B. 1e-4>
93
+
94
+ Hardware: <z.B. 4x NVIDIA A100>
95
+
96
+ 📄 Zitation
97
+
98
+ Wenn du dieses Modell in deiner Forschung verwendest, zitiere bitte sowohl das ursprüngliche H3WB-Paper als auch dieses Repository:
99
+ bibtex
100
+
101
+ @inproceedings{zhu2023h3wb,
102
+ title={H3WB: Human3.6M 3D WholeBody Dataset and Benchmark},
103
+ author={Zhu, Yue and Samet, Nermin and Picard, David},
104
+ booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
105
+ year={2023}
106
+ }
107
+
108
+ @misc{<dein-modellname>2024,
109
+ title = {{<Modellname>}: A 3D Whole-Body Pose Estimation Model},
110
+ author = {Stephan, Jonas D. and Dollmann, Nathalie},
111
+ howpublished = {\url{https://github.com/<dein-username>/<dein-repo>}},
112
+ year = {2024}
113
+ }
114
+
115
+ 🙏 Danksagung
116
+
117
+ Dieses Projekt basiert auf der Arbeit des WholeBody3D (H3WB) Teams. Vielen Dank an Yue Zhu, Nermin Samet und David Picard für die Bereitstellung des hervorragenden Datensatzes und Codes.
118
+ ⚖️ Lizenz
119
+
120
+ Der Code in diesem Repository ist, sofern nicht anders angegeben, unter der MIT-Lizenz lizenziert. Siehe die Datei LICENSE für Details.
121
+
122
+ Das Modell nutzt Daten und Architektur, die unter der MIT-Lizenz vom H3WB-Projekt veröffentlicht wurden. Copyright 2023 der H3WB-Autoren. Copyright 2024 Jonas D. Stephan & Nathalie Dollmann.