andrewchernish1-ui commited on
Commit
70c01d1
·
1 Parent(s): 8cdf37f

fix: use faster-whisper model and add accelerate

Browse files
Files changed (5) hide show
  1. .env.example +1 -1
  2. Dockerfile +1 -1
  3. README.md +1 -1
  4. app/config.py +1 -1
  5. requirements.txt +1 -0
.env.example CHANGED
@@ -1,4 +1,4 @@
1
- WHISPER_MODEL=openai/whisper-small
2
  LLM_MODEL=Qwen/Qwen2.5-0.5B-Instruct
3
  LLM_LOCAL_PATH=
4
  SESSION_TTL_MINUTES=120
 
1
+ WHISPER_MODEL=Systran/faster-whisper-small
2
  LLM_MODEL=Qwen/Qwen2.5-0.5B-Instruct
3
  LLM_LOCAL_PATH=
4
  SESSION_TTL_MINUTES=120
Dockerfile CHANGED
@@ -23,7 +23,7 @@ RUN apt-get update && \
23
  COPY requirements.txt .
24
  RUN pip install --upgrade pip && pip install -r requirements.txt
25
 
26
- ARG WHISPER_MODEL=openai/whisper-small
27
  ARG LLM_MODEL=Qwen/Qwen2.5-0.5B-Instruct
28
  ENV HF_HUB_ENABLE_HF_TRANSFER=0
29
 
 
23
  COPY requirements.txt .
24
  RUN pip install --upgrade pip && pip install -r requirements.txt
25
 
26
+ ARG WHISPER_MODEL=Systran/faster-whisper-small
27
  ARG LLM_MODEL=Qwen/Qwen2.5-0.5B-Instruct
28
  ENV HF_HUB_ENABLE_HF_TRANSFER=0
29
 
README.md CHANGED
@@ -31,7 +31,7 @@ Docker/Spaces деплой: код работает как Docker Space (см. `
31
 
32
  ### Расшифровка и логика вопросов
33
 
34
- - STT: `faster-whisper` с моделью `openai/whisper-small` (CPU, int8). На Hugging Face Space модель скачивается в `/models/whisper`.
35
  - Генерация вопросов/отчёта: локальная модель `Qwen/Qwen2.5-0.5B-Instruct` через `transformers`. Если модель не загружена, агент использует заготовленные вопросы/отчёт из `report.py`.
36
 
37
  ### Отправка email
 
31
 
32
  ### Расшифровка и логика вопросов
33
 
34
+ - STT: `faster-whisper` с моделью `Systran/faster-whisper-small` (CPU, int8). На Hugging Face Space модель скачивается в `/models/whisper`.
35
  - Генерация вопросов/отчёта: локальная модель `Qwen/Qwen2.5-0.5B-Instruct` через `transformers`. Если модель не загружена, агент использует заготовленные вопросы/отчёт из `report.py`.
36
 
37
  ### Отправка email
app/config.py CHANGED
@@ -7,7 +7,7 @@ class AppSettings(BaseSettings):
7
  model_config = SettingsConfigDict(env_file=".env", env_file_encoding="utf-8", extra="ignore")
8
 
9
  app_name: str = "Fitness Voice Agent"
10
- whisper_model: str = "openai/whisper-small"
11
  llm_model: str = "Qwen/Qwen2.5-0.5B-Instruct"
12
  llm_local_path: str | None = None
13
  session_ttl_minutes: int = 120
 
7
  model_config = SettingsConfigDict(env_file=".env", env_file_encoding="utf-8", extra="ignore")
8
 
9
  app_name: str = "Fitness Voice Agent"
10
+ whisper_model: str = "Systran/faster-whisper-small"
11
  llm_model: str = "Qwen/Qwen2.5-0.5B-Instruct"
12
  llm_local_path: str | None = None
13
  session_ttl_minutes: int = 120
requirements.txt CHANGED
@@ -7,6 +7,7 @@ python-multipart==0.0.9
7
  tenacity==9.0.0
8
  torch==2.3.1
9
  transformers==4.41.2
 
10
  tokenizers==0.19.1
11
  huggingface_hub==0.26.1
12
  sentencepiece==0.2.0
 
7
  tenacity==9.0.0
8
  torch==2.3.1
9
  transformers==4.41.2
10
+ accelerate==1.1.1
11
  tokenizers==0.19.1
12
  huggingface_hub==0.26.1
13
  sentencepiece==0.2.0