SilverElixir commited on
Commit
d8cf7b3
·
1 Parent(s): 169a54e

Probe journal: Gemma search grounding possible but 500s frequent

Browse files
Files changed (1) hide show
  1. docs/PROMPT_EVAL.md +10 -6
docs/PROMPT_EVAL.md CHANGED
@@ -54,12 +54,16 @@ OR-модель заметно слабее — согласуется с жал
54
 
55
  ### Проба инструментов (22.10.2026, Actions)
56
 
57
- `probe-tools` (вопрос «сколько сегодня стоит доллар»): gemma-4-26b-a4b-it
58
- без инструментов отвечает честно («проверьте курс в банком приложении»),
59
- с `google_search` — HTTP 500 INTERNAL; gemma-4-31b-it с инструментом — та же
60
- 500. Итог: search grounding через API у Gemma недоступен, свежесть остаётся
61
- на цепочке Gemini 2.5 (и там же DuckDuckGo-сниппет как резерв). В роутере
62
- правка не нужна: `no_search=True` подтверждено провайдером, а не догадкой.
 
 
 
 
63
 
64
  ## Как гонять
65
 
 
54
 
55
  ### Проба инструментов (22.10.2026, Actions)
56
 
57
+ `probe-tools` (вопрос «сколько сегодня стоит доллар»), несколько запусков:
58
+ gemma-4-26b-a4b-it и gemma-4-31b-it в отдельных запусках дали успешные ответы
59
+ с grounding (реальный курс ЦБ РФ на дату замера), однако обе модели чаще
60
+ возвращают 500 INTERNAL, чем отвечают (перегрузка free-тиера; в боте такое
61
+ гасится остывкой и следующим кандидатом). Без инструментов Gemma отвечает
62
+ стабильно и честно. Итог: search grounding у Gemma технически возможен, доля
63
+ отказов высока, качество свежих ответов не замерено — свежесть остаётся на
64
+ Gemini 2.5 (`no_search=True` верен). Если переносить свежесть на Gemma: нужен
65
+ прогон вопросов свежести (6, 22) живым ботом или в eval с инструментом, плюс
66
+ правка lumen_routes (сейчас в ветке Gemma инструмент не передаётся).
67
 
68
  ## Как гонять
69