Spaces:
Sleeping
WebGPU-fähige Tools
Hallo zusammen, ich bin total begeistert von der WebGPU-Arena und nutze sie fleißig, um verschiedene quantisierte Modelle direkt im Browser zu testen.
Endlich kann man ohne Server, ohne Cloud und komplett DSGVO-konform sehen, was die eigene Hardware wirklich leistet.
Ich möchte das Ganze jetzt noch einen Schritt weiterbringen und würde mich sehr über eure Gedanken und Erfahrungen freuen:
Meine aktuellen Ideen / Ziele:
- Bildgenerierung und andere WebGPU-fähige Tools schrittweise mit in die Arena integrieren
- Das Thema spielerisch und mit möglichst geringer Einstiegshürde an möglichst viele Menschen herantragen
- Langfristig eine agentenähnliche Struktur aufbauen, die automatisch das passendste Modell für eine konkrete Teilaufgabe auswählt
Besonders spannend finde ich dazu die Kombination mit:
- projektbezogenem LTM (Long-Term Memory)
- einem projektbezogenen LLM-Wiki
- einem projektbezogenen AAMS-System
Fragen an euch:
Welche Features würdet ihr euch in so einer WebGPU-Umgebung wünschen?
Habt ihr bereits Erfahrungen mit agentenähnlichen Setups im Browser?
Welche Modelle laufen bei euch am besten (besonders interessant wären auch kleinere Modelle für schwächere Geräte)?
Lasst uns gemeinsam herausfinden, wie wir lokale Open-Source-KI noch zugänglicher und praktischer machen können! Ich freue mich auf eure Rückmeldungen und Ergebnisse aus der Arena