Spaces:
Running
Running
SilverElixir commited on
Commit ·
d8cf7b3
1
Parent(s): 169a54e
Probe journal: Gemma search grounding possible but 500s frequent
Browse files- docs/PROMPT_EVAL.md +10 -6
docs/PROMPT_EVAL.md
CHANGED
|
@@ -54,12 +54,16 @@ OR-модель заметно слабее — согласуется с жал
|
|
| 54 |
|
| 55 |
### Проба инструментов (22.10.2026, Actions)
|
| 56 |
|
| 57 |
-
`probe-tools` (вопрос «сколько сегодня стоит доллар»)
|
| 58 |
-
|
| 59 |
-
с
|
| 60 |
-
|
| 61 |
-
|
| 62 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 63 |
|
| 64 |
## Как гонять
|
| 65 |
|
|
|
|
| 54 |
|
| 55 |
### Проба инструментов (22.10.2026, Actions)
|
| 56 |
|
| 57 |
+
`probe-tools` (вопрос «сколько сегодня стоит доллар»), несколько запусков:
|
| 58 |
+
gemma-4-26b-a4b-it и gemma-4-31b-it в отдельных запусках дали успешные ответы
|
| 59 |
+
с grounding (реальный курс ЦБ РФ на дату замера), однако обе модели чаще
|
| 60 |
+
возвращают 500 INTERNAL, чем отвечают (перегрузка free-тиера; в боте такое
|
| 61 |
+
гасится остывкой и следующим кандидатом). Без инструментов Gemma отвечает
|
| 62 |
+
стабильно и честно. Итог: search grounding у Gemma технически возможен, доля
|
| 63 |
+
отказов высока, качество свежих ответов не замерено — свежесть остаётся на
|
| 64 |
+
Gemini 2.5 (`no_search=True` верен). Если переносить свежесть на Gemma: нужен
|
| 65 |
+
прогон вопросов свежести (6, 22) живым ботом или в eval с инструментом, плюс
|
| 66 |
+
правка lumen_routes (сейчас в ветке Gemma инструмент не передаётся).
|
| 67 |
|
| 68 |
## Как гонять
|
| 69 |
|