Code for inference

app.py

@@ -0,0 +1,44 @@
+import gradio as gr
+from textPreprocessing import text2prompt
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+import torch
+
+bnb_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_use_double_quant=True,
+    bnb_4bit_quant_type="fp4",
+    bnb_4bit_compute_dtype=torch.bfloat16
+)
+
+model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1",
+                                             quantization_config=bnb_config)
+tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
+
+def predict(input_text, t, m):
+    """
+        Вывести финансовую рекомендацию на основе:
+        input_text: str 
+            - Контекст в виде новости из области экономики
+        t: tokenizer
+            - Токенизатор для модели
+        m: model
+            - Instruct-based модель
+    """
+    prompt = text2prompt(input_text)
+    inputs = tokenizer(prompt, return_tensors="pt")
+    generate_ids = model.generate(inputs.input_ids, max_new_tokens=128)
+    answer = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
+    return answer.replace(prompt, "")
+
+gradio_app = gr.Interface(
+    predict,
+    inputs=gr.Textbox(
+        label="Входная новость", sources=['upload', 'webcam'], container=True,
+        lines=8, placeholder="Акции кредитного банка \"X\" обрушились в цене из-за дефолта по ипотечным кредитам"
+    ),
+    outputs=[gr.Label(label="Финансовая рекомендация на основе новости:")],
+    title="Finam Finetuned Mistral Instruct (FFMI)",
+)
+
+if __name__ == "__main__":
+    gradio_app.launch()

requirements.txt

@@ -0,0 +1,2 @@
+transformers
+torch

textPreprocessing.py

@@ -0,0 +1,21 @@
+def text2prompt(text: str):
+  """
+    Применяет инструкцию в формате, который распознается
+    Mistral Instruct и выводит на выходе входной текст для модели
+  """
+
+  instruction = 'Ниже тебе дан текст, содержащий новость на тему экономики. ' \
+     'На основе текста ты должен дать наиболее подходящую финансовую рекомендацию из списка ["buy", "sell", "long", "short"]. ' \
+     'Твой ответ должен содержать только одно слово, которое будет подходящей рекомендацией из списка.'
+
+  bos_token = "<s>"
+  eos_token = "</s>"
+
+  full_prompt = ""
+  full_prompt += bos_token
+  full_prompt += "### Instruction:"
+  full_prompt += "\n" + instruction
+  full_prompt += "\n\n### Input:"
+  full_prompt += "\n" + text
+  full_prompt += "\n\n### Response:"
+  full_prompt += eos_token