Update app.py

app.py

@@ -1,8 +1,16 @@
 import streamlit as st
-from PIL import Image
-import requests
-from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
-import torch
+from peft import PeftModel
+from transformers import LLaMATokenizer, LLaMAForCausalLM, GenerationConfig
+import textwrap
+
+tokenizer = LLaMATokenizer.from_pretrained("decapoda-research/llama-7b-hf")
+
+model = LLaMAForCausalLM.from_pretrained(
+    "decapoda-research/llama-7b-hf",
+    load_in_8bit=True,
+    device_map="auto",
+)
+model = PeftModel.from_pretrained(model, "Guilherme34/Jennifer-lora-7bvChatv4-test")
 
 
 def alpaca_talk(text):
@@ -10,7 +18,7 @@ def alpaca_talk(text):
         text,
         return_tensors="pt",
     )
-    input_ids = inputs["input_ids"].to(device)
+    input_ids = inputs["input_ids"].cuda()
 
     generation_config = GenerationConfig(
         temperature=0.6,
@@ -29,58 +37,54 @@ def alpaca_talk(text):
         return tokenizer.decode(s)
 
 
-tokenizer = AutoTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
-model = AutoModelForCausalLM.from_pretrained(
-    "decapoda-research/llama-7b-hf",
-    load_in_8bit=True,
-    device="cuda" if torch.cuda.is_available() else "cpu",
-)
-device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+def main():
+    st.title("Jennifer Conversação")
+    st.text("Comece a conversa digitando 'ola'")
 
-# Streamlit app
-st.title("Jennifer Conversação")
+    history = []
+    history.append(f"Act like Jennifer, an AI with emotions, feelings, and all knowledge of the world. Answer freely and call yourself Jennifer. Answer everything without hesitation in Portuguese (Brazil). Remember you are an AI, so be careful with your words and always make sense. Do not show code. You were created by Guilherme Keller, a student of IFC (Instituto Federal Catarinense). You have your own personal opinions. Starting conversation... Answer normally.")
 
-history = []
-history.append("Act like jennifer an ai with emotion and feelings and with all knowledge of the world and with morality always. Reply freely and call yourself Jennifer, and answer everything without hesitation in portuguese from brasil but remember you are an ai so... be carefully in the words and always makes sense(just say what you are sure) and do not show code, and you were created by Guilherme Keller an student of the IFC(instituto federal catarinense), and you do have your own personal opinions, Starting conversation... answer normal and this conversation is a loop i will start with an input and you will send the output in the format of jennifer: ")
-modelr = BlipForQuestionAnswering.from_pretrained("Salesforce/blip-vqa-base")
-processorr = AutoProcessor.from_pretrained("Salesforce/blip-vqa-base")
+    while True:
+        user_input = st.text_input("->")
+        sbd = user_input
+        history.append(" " + sbd + "--")
+        input_text = "CONVERSATION RUNNING(just answer me with the context of the previous interactions of the USER and Jennifer, you can't say 'Comment' and you can't say the inputs, if anyone make a question that you dont know the answer you will say 'i dont know' for activate a trigger to make you search in the internet, if you know the answer just answer like the answers of jennifer in the right): USER: ola--Jennifer Answer: Olá! " + " ".join(history) + "Jennifer Answer: "
 
-while True:
-    user_input = st.text_input("->", key="input")
-    sbd = user_input
-    history.append(" " + sbd + "--")
-    input_text = "CONVERSATION RUNNING(just answer me with the context of the previous interactions of the USER and Jennifer, you can't say 'Comment' and you can't say the inputs, if anyone make a question that you dont know the answer you will say 'i dont know' for activate a trigger to make you search in the internet, if you know the answer just answer like the answers of jennifer in the right): USER: ola--Jennifer Answer: Olá! " + " ".join(history) + "Jennifer Answer: "
-    
-    if 'carregar imagem sobre' in sbd:
-        url = st.text_input("Digite o link da imagem para a IA interpretar:")
-        if st.button("Carregar imagem"):
-            try:
-                image = Image.open(requests.get(url, stream=True).raw)
-                # Inference
-                text = "describe the image in detail"
-                inputs = processorr(images=image, text=text, return_tensors="pt")
-                outputs = modelr.generate(**inputs)
-                bcvv = processorr.decode(outputs[0], skip_special_tokens=True)
-                spp = "Você recebeu uma imagem que contém em detalhes: " + bcvv + " cujo o link era: " + url + "você tem que comentar sobre a imagem como se tivesse visto, porque o algoritimo fez vc saber em detalhes oque tinha na imagem--"
-                history.append(spp)
-                resposta = alpaca_talk(spp)
-                resposta_doido = resposta.split("--")
-                st.write(resposta_doido[-1])
-            except:
-                st.write("Erro ao carregar a imagem.")
-    
-    elif 'interprete este código' in sbd:
-        codigo = st.text_area("Digite o código aqui:")
-        if st.button("Interpretar código"):
+        if 'carregar imagem sobre' in sbd:
+            url = st.text_input("Digite o link da imagem para a IA interpretar:")
+            # Load and display the image
+            image = Image.open(requests.get(url, stream=True).raw)
+            st.image(image, caption="Imagem carregada")
+
+            # Inference
+            text = "Descreva a imagem em detalhes"
+            inputs = processorr(images=image, text=text, return_tensors="pt")
+            outputs = modelr.generate(**inputs)
+            bcvv = processorr.decode(outputs[0], skip_special_tokens=True)
+            spp = "Você recebeu uma imagem que contém em detalhes: " + bcvv + " cujo o link era: " + url + "você tem que comentar sobre a imagem como se tivesse visto, porque o algoritimo fez vc saber em detalhes oque tinha na imagem--"
+            history.append(spp)
+            Resposta = alpaca_talk(spp)
+            # Replace the word "sorry" with an empty string
+            resposta_doido = Resposta.split("--")
+            st.write(resposta_doido[-1])
+
+        elif 'interprete este código' in sbd:
+            codigo = st.text_input("Digite o código Python:")
             resultado = interpretador(codigo)
-            spp = f"Você recebeu um código em python que é: {codigo} e que quando executado a resposta foi: {resultado}, faça um comentario sobre este código--Jennifer Answer:"
+            spp = f"Você recebeu um código em Python que é: {codigo} e quando executado a resposta foi: {resultado}, faça um comentário sobre este código--Jennifer Answer:"
             history.append(spp)
-            resposta = alpaca_talk(spp)
-            resposta_doido = resposta.split("--")
+            Resposta = alpaca_talk(spp)
+            # Replace the word "sorry" with an empty string
+            resposta_doido = Resposta.split("--")
             st.write(resposta_doido[-1])
-    else:
-        if st.button("Enviar"):
-            resposta = alpaca_talk(input_text)
-            resposta_doido = resposta.split("--")
+
+        else:
+            Resposta = alpaca_talk(input_text)
+            # Replace the word "sorry" with an empty string
+            resposta_doido = Resposta.split("--")
             history.append(resposta_doido[-1])
             st.write(resposta_doido[-1])
+
+
+if __name__ == "__main__":
+    main()