Update README.md

README.md

@@ -1,7 +1,6 @@
 ---
 language:
 - pt
-- en
 license: llama2
 library_name: transformers
 tags:
@@ -10,16 +9,10 @@ tags:
 - Tiny-Llama
 - LLM
 - PEFT
-datasets:
-- ju-resplande/rebel-pt
-- paulofinardi/OIG_small_chip2_portuguese_brasil
-- Guilherme34/Cabrita-lora-ptbr
-- dominguesm/Canarim-Instruct-PTBR-Dataset
 pipeline_tag: text-generation
 widget:
-- text: 'Quem foi Pedro Álvares Cabral?
-
-    '
+- text: |
+    Quem foi Pedro Álvares Cabral?
 ---
 
 <hr>
@@ -35,13 +28,11 @@ widget:
 
 Samba é um LLM treinado em dados da língua portuguesa. O modelo é baseado no [TinyLlama-1.1B](https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0), uma versão de 1.1B parâmetros do LLaMA-2.
 
-O projeto do LLM Samba tem como objetivo fornecer mais opções de LLMs para língua portuguesa, ao mesmo tempo que disponibiliza um modelo menos complexo para que, dessa forma, usuários com menos poder computacional possam usufruir das LLMs.
-
 <p align="center">
   <img width="250" alt="Countries Logo" src="https://cdn-uploads.huggingface.co/production/uploads/658c21f4c1229bf113295773/d3twZrXng5eDjg_LbH4pF.png">
 </p>
 
-### Descrição do Modelo
+## Descrição do Modelo
 
 - **Desenvolvido por:** [Leonardo Souza](https://huggingface.co/lrds-code)
 - **Tipo do Modelo:** LLaMA-Based
@@ -50,22 +41,72 @@ O projeto do LLM Samba tem como objetivo fornecer mais opções de LLMs para lí
 
 ## Como usar
 
+Com o `transformers pipeline`:
+
 ```python
 import torch
 from transformers import pipeline
 
 samba = pipeline('text-generation', model='lrds-code/samba-1.1B', torch_dtype=torch.bfloat16, device_map='auto')
 
-messages = [{"role": "system",
-             "content": ""},
-            {"role": "user",
-             "content": "Quantos planetas existem no sistema solar?"}]
+messages = [{'role':'system',
+             'content':''},
+            {'role':'user',
+             'content':'Quantos planetas existem no sistema solar?'}]
 
 prompt = samba.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-outputs = samba(prompt, max_new_tokens=256, do_sample=False, temperature=0.1, top_k=50, top_p=0.95)
+outputs = samba(prompt, max_new_tokens=256, do_sample=False, temperature=0.1, top_k=50, top_p=0.95, repetition_penalty=1.1, do_sample=False)
+print(outputs[0]['generated_text'])
+```
+
+Com o `transformers AutoModel`
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
+
+def GeneratePrompt(input, instruction):
+    if input!='' and instruction!=0:
+        return f'''Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
+### Instrução
+{instruction}
+### Entrada
+{input}'''
+    else:
+        return f'''Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
+### Instrução
+{instruction}
+### Entrada'''
+
+model_config = GenerationConfig.from_model_config(model.generation_config)
+model.generation_config.temperature = 0.1
+
+model = AutoModelForCausalLM.from_pretrained('lrds-code/samba-1.1B')
+tokenizer = AutoTokenizer.from_pretrained('lrds-code/samba-1.1B')
+
+instruction = 'Quantos planetas existem no sistema solar?'
+text = GeneratePrompt(input='', instruction=instruction)
+inputs = tokenizer(text, return_tensors='pt')
+outputs = model.generate(input_ids=inputs['input_ids'], attention_mask=inputs['attention_mask'], generation_config=model_config, repetition_penalty=1.1, do_sample=False)
 print(outputs[0]['generated_text'])
 ```
 
+## Prompt para Finetune
+
+Para o finetune do Samba utilizamos o template [Alpaca](https://huggingface.co/datasets/yahma/alpaca-cleaned).
+
+```python
+Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
+### Instrução
+{instruction}
+### Entrada
+{input}
+### Resposta
+{output}
+```
+
+## Parâmetros importantes
+
+
 <hr>
 
 # EN - README