cody82 commited on
Commit
68f7433
·
verified ·
1 Parent(s): 59010e6

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +15 -5
app.py CHANGED
@@ -1,15 +1,25 @@
 
1
  import gradio as gr
2
  import torch
3
  from transformers import AutoModelForCausalLM, AutoTokenizer
4
 
5
- # Модель и токенизатор
6
  model_name = "cody82/innopolis_bot_model"
7
- tokenizer = AutoTokenizer.from_pretrained(model_name)
8
- model = AutoModelForCausalLM.from_pretrained(model_name)
 
 
 
 
 
 
 
 
 
9
  device = torch.device("cpu")
10
  model.to(device)
11
 
12
- # Обработчик сообщений (новый формат: messages)
13
  def respond(message, history):
14
  full_input = ""
15
  for turn in history:
@@ -32,7 +42,7 @@ def respond(message, history):
32
  response = output_text.split("Assistant:")[-1].strip()
33
  return response
34
 
35
- # Gradio интерфейс
36
  chat = gr.ChatInterface(
37
  fn=respond,
38
  chatbot=gr.Chatbot(label="Innopolis Bot", type="messages"),
 
1
+ import os
2
  import gradio as gr
3
  import torch
4
  from transformers import AutoModelForCausalLM, AutoTokenizer
5
 
6
+ # Указание названия модели
7
  model_name = "cody82/innopolis_bot_model"
8
+
9
+ # Получение токена из переменной окружения
10
+ hf_token = os.getenv("HUGGINGFACE_HUB_TOKEN")
11
+ if hf_token is None:
12
+ raise ValueError("Переменная окружения HUGGINGFACE_HUB_TOKEN не установлена.")
13
+
14
+ # Загрузка токенизатора и модели с авторизацией
15
+ tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
16
+ model = AutoModelForCausalLM.from_pretrained(model_name, use_auth_token=hf_token)
17
+
18
+ # Использование CPU
19
  device = torch.device("cpu")
20
  model.to(device)
21
 
22
+ # Обработка входящих сообщений (новый формат: messages)
23
  def respond(message, history):
24
  full_input = ""
25
  for turn in history:
 
42
  response = output_text.split("Assistant:")[-1].strip()
43
  return response
44
 
45
+ # Интерфейс Gradio
46
  chat = gr.ChatInterface(
47
  fn=respond,
48
  chatbot=gr.Chatbot(label="Innopolis Bot", type="messages"),