Wir möchten euch heute ein kleines Update zu unserer Arbeit an der neuen EvaGPT-German-Version geben:
Leider kämpfen wir derzeit noch mit einigen Problemen, insbesondere bei Linux-Versionen (wie z. B. Ubuntu), die sich bei Updates immer mehr an Windows annähern. Hinzu kommt, dass Nvidia häufiger Änderungen an den Treibern vornimmt, was zusätzliche Herausforderungen mit sich bringt. Aus diesen Gründen müssen wir aktuell auf CPU-Training ausweichen, was leider die Trainingsdauer erheblich verlängert.
Doch keine Sorge – wir bleiben dran! 💪
Ein großes Highlight möchten wir dennoch mit euch teilen: Die neue EvaGPT-German-Version wurde erfolgreich auf 3,18 Milliarden Parameter reduziert und basiert weiterhin auf der bewährten Llama-Struktur. Durch den neuen, speziell angepassten Tokenizer konnten wir die Leistung im Bereich der deutschen Sprache jedoch erheblich steigern!
Unser bisheriges 7B-Modell, das auf der Mistral-Struktur basiert, stieß bei der Verarbeitung der komplexen deutschen Sprache an seine Grenzen. Mit dem neuen Tokenizer lassen sich jedoch selbst im kompakten 3.18B-Modell beeindruckende Ergebnisse erzielen – und das bei deutlich besserer Performance!
Vielen Dank für eure Geduld und euer Verständnis – wir arbeiten mit Hochdruck daran, euch die neue EvaGPT-German-Version bald präsentieren zu können. Bis dahin: Abwarten und Tee trinken! 🫖
Neue Version veröffentlicht: EvaGPT-German-v9.0.0-7B-f16-Beta.gguf
Wir freuen uns, die Veröffentlichung der neuen Version unseres Modells bekanntzugeben! EvaGPT-German-v9.0.0-7B-f16-Beta.gguf ist das Ergebnis einer innovativen Verschmelzung des 7B- und unseres selbst trainierten 3.18B-Modells. Dabei wurden gezielt Layer des 3.18B-Modells integriert und ersetzt, was zu einer deutlichen Leistungssteigerung geführt hat.
Das Modell zeigt in zahlreichen Anwendungsbereichen eine hervorragende Performance und wird aktuell als unser bestes Modell eingestuft.
Nächste Schritte:
Integration einer Vision-Komponente, um die Verbindung von Text und Bild weiter zu verbessern.
Erweiterung des englischen Kontexts, da dieser bisher in den Trainingsdaten kaum vertreten ist.
Insgesamt ist das Modell bereits jetzt für viele kleinere Anwendungen einsatzbereit und bietet eine solide Grundlage für zukünftige Entwicklungen.
