Victor Dieguez commited on
Commit ·
b23d29d
1
Parent(s): c1a0a25
Editing texts
Browse files- src/about.py +3 -1
src/about.py
CHANGED
|
@@ -34,7 +34,9 @@ TITLE = """<h1 align="center" id="space-title">Atlas Diagnóstico de Modelos de
|
|
| 34 |
INTRODUCTION_TEXT = """
|
| 35 |
Bem-vindo ao Atlas, uma avaliação de LLMs em português que prioriza conteúdo correto sobre formatação rígida, sendo ideal para modelos pequenos que possuem conhecimento mas não produzem templates perfeitos.
|
| 36 |
Nossa abordagem usa parseamento heurístico tolerante, calibração automática e métricas desacopladas: o macro_score (0-1) mede capacidade semântica, enquanto a nonparse_rate avalia obediência às instruções separadamente.
|
| 37 |
-
Isso permite diagnosticar claramente se um modelo falha por conhecimento insuficiente ou por dificuldades de formatação, oferecendo um diagnóstico robusto e prático de usabilidade real. Inspirado no EleutherAI Benchmark [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness)
|
|
|
|
|
|
|
| 38 |
"""
|
| 39 |
|
| 40 |
# Which evaluations are you running? how can people reproduce what you have?
|
|
|
|
| 34 |
INTRODUCTION_TEXT = """
|
| 35 |
Bem-vindo ao Atlas, uma avaliação de LLMs em português que prioriza conteúdo correto sobre formatação rígida, sendo ideal para modelos pequenos que possuem conhecimento mas não produzem templates perfeitos.
|
| 36 |
Nossa abordagem usa parseamento heurístico tolerante, calibração automática e métricas desacopladas: o macro_score (0-1) mede capacidade semântica, enquanto a nonparse_rate avalia obediência às instruções separadamente.
|
| 37 |
+
Isso permite diagnosticar claramente se um modelo falha por conhecimento insuficiente ou por dificuldades de formatação, oferecendo um diagnóstico robusto e prático de usabilidade real. Inspirado no EleutherAI Benchmark [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness).
|
| 38 |
+
|
| 39 |
+
Versão Atual: Pre-alpha
|
| 40 |
"""
|
| 41 |
|
| 42 |
# Which evaluations are you running? how can people reproduce what you have?
|