Cobtras commited on
Commit
98d9276
·
verified ·
1 Parent(s): 5c55392

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +113 -3
README.md CHANGED
@@ -1,3 +1,113 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ ---
4
+
5
+ <Modellname>: RTM17Lifting
6
+
7
+ https://img.shields.io/badge/%25F0%259F%25A4%2597-Model%2520Hub-yellow
8
+ https://img.shields.io/badge/License-MIT-green.svg
9
+ https://badge.fury.io/py/%3Cdein-paketname%3E.svg
10
+ https://img.shields.io/badge/Framework-PyTorch-orange
11
+
12
+ Dieses Repository enthält ein Modell für 3D-Ganzkörper-Poseschätzung, das auf dem WholeBody3D (H3WB) Datensatz und der Referenzarchitektur trainiert wurde. Das Modell schätzt gleichzeitig die 3D-Posen von Körper, Händen und Gesicht aus 2D Pose Daten.
13
+ 📋 Modell-Details
14
+
15
+ Entwickler: Jonas D. Stephan, Nathalie Dollmann
16
+
17
+ Architektur: SimpleBasline aus [https://github.com/wholebody3d/wholebody3d](https://github.com/wholebody3d/wholebody3d)
18
+
19
+ Trainingsdaten: WholeBody3D (H3WB & T3WB) Datensätze.
20
+
21
+ Framework: PyTorch
22
+
23
+ Input: 2D-Koordinaten (17 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format (die ersten 17 von 133) definiert.
24
+
25
+ Output: 3D-Koordinaten (17 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format (die ersten 17 von 133) definiert.
26
+
27
+ 🚀 Schnellstart
28
+ Installation
29
+ bash
30
+
31
+ # Installation via PyPI
32
+ pip install <dein-paketname>
33
+
34
+ # Oder direkt aus dem Repository
35
+ pip install git+https://github.com/<dein-username>/<dein-repo>.git
36
+
37
+ Grundlegende Verwendung
38
+ python
39
+
40
+ import torch
41
+ from <dein-paketname> import <ModellKlasse>, utils
42
+
43
+ # 1. Modell laden
44
+ model = <ModellKlasse>.from_pretrained("<dein-username>/<dein-modellname>")
45
+ model.eval()
46
+
47
+ # 2. Bild vorbereiten (Beispiel)
48
+ image = utils.load_and_preprocess_image("dein_bild.jpg")
49
+
50
+ # 3. Inferenz durchführen
51
+ with torch.no_grad():
52
+ predictions = model(image)
53
+
54
+ # 4. Ergebnisse verarbeiten (z.B. Visualisierung)
55
+ utils.visualize_3d_pose(predictions)
56
+
57
+ 📥 Modell-Download
58
+
59
+ Das vortrainierte Modell wird automatisch über from_pretrained() heruntergeladen. Für einen manuellen Download:
60
+ python
61
+
62
+ from huggingface_hub import hf_hub_download
63
+ import torch
64
+
65
+ model_path = hf_hub_download(
66
+ repo_id="<dein-username>/<dein-modellname>",
67
+ filename="model_weights.pth"
68
+ )
69
+ state_dict = torch.load(model_path, map_location='cpu')
70
+
71
+ 📊 Evaluation & Leistung
72
+
73
+ Test Loss: 12140.911356
74
+ Train Loss: 8930.923992
75
+
76
+ 🏋️ Training
77
+
78
+ Dieses Modell wurde von Grund auf neu auf dem H3WB-Datensatz trainiert.
79
+
80
+ Epochen: 175
81
+
82
+ Batch-Größe: 256
83
+
84
+ Optimierer: Adam
85
+
86
+ Learning Rate: 0.002
87
+
88
+ Hardware: NVIDIA GeForce RTX 3050
89
+
90
+ 📄 Zitation
91
+
92
+ @inproceedings{zhu2023h3wb,
93
+ title={H3WB: Human3.6M 3D WholeBody Dataset and Benchmark},
94
+ author={Zhu, Yue and Samet, Nermin and Picard, David},
95
+ booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
96
+ year={2023}
97
+ }
98
+
99
+ /*@misc{<dein-modellname>2024,
100
+ title = {{<Modellname>}: A 3D Whole-Body Pose Estimation Model},
101
+ author = {Stephan, Jonas D. and Dollmann, Nathalie},
102
+ howpublished = {\url{https://github.com/<dein-username>/<dein-repo>}},
103
+ year = {2024}
104
+ }*/
105
+
106
+ 🙏 Danksagung
107
+
108
+ Dieses Projekt basiert auf der Arbeit des WholeBody3D (H3WB) Teams. Vielen Dank an Yue Zhu, Nermin Samet und David Picard für die Bereitstellung des hervorragenden Datensatzes und Codes.
109
+ ⚖️ Lizenz
110
+
111
+ Der Code in diesem Repository ist, sofern nicht anders angegeben, unter der MIT-Lizenz lizenziert. Siehe die Datei LICENSE für Details.
112
+
113
+ Das Modell nutzt Daten und Architektur, die unter der MIT-Lizenz vom H3WB-Projekt veröffentlicht wurden. Copyright 2023 der H3WB-Autoren. Copyright 2024 Jonas D. Stephan & Nathalie Dollmann.