zasharepw77 commited on
Commit
a33f671
·
1 Parent(s): 2dea033

Локально запускается нормально но слабовата например время в Вашингтонске говорит Ньюйорк хотя переменную называет правильно...

Browse files
Files changed (1) hide show
  1. app.py +4 -2
app.py CHANGED
@@ -95,6 +95,7 @@ final_answer = FinalAnswerTool()
95
  # Local: mcedit ~/.bashrc
96
  # export hf_token="your_hugging_face_token"
97
  # source ~/.bashrc
 
98
  model = HfApiModel(
99
  max_tokens=2096,
100
  temperature=0.5,
@@ -102,12 +103,13 @@ model = HfApiModel(
102
  custom_role_conversions=None,
103
  token=os.getenv('hf_token'),
104
  )
 
105
 
106
  '''
107
  # Локальная модель:
108
- # ollama = Запустился номально, но надо модельку нормальную под GPU
109
  model = LiteLLMModel(
110
- model_id="ollama/smollm:360m",
111
  max_tokens=2096,
112
  temperature=0.6,
113
  api_base="http://localhost:11434",
 
95
  # Local: mcedit ~/.bashrc
96
  # export hf_token="your_hugging_face_token"
97
  # source ~/.bashrc
98
+ #'''
99
  model = HfApiModel(
100
  max_tokens=2096,
101
  temperature=0.5,
 
103
  custom_role_conversions=None,
104
  token=os.getenv('hf_token'),
105
  )
106
+ #'''
107
 
108
  '''
109
  # Локальная модель:
110
+ # ollama = Запустился номально, qwen2.5-coder:7b немного справляется
111
  model = LiteLLMModel(
112
+ model_id="ollama/qwen2.5-coder:7b",
113
  max_tokens=2096,
114
  temperature=0.6,
115
  api_base="http://localhost:11434",