Instructions to use MagusCorp/legislinho with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use MagusCorp/legislinho with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="MagusCorp/legislinho") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("MagusCorp/legislinho") model = AutoModelForCausalLM.from_pretrained("MagusCorp/legislinho", device_map="auto") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use MagusCorp/legislinho with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "MagusCorp/legislinho" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "MagusCorp/legislinho", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/MagusCorp/legislinho
- SGLang
How to use MagusCorp/legislinho with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "MagusCorp/legislinho" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "MagusCorp/legislinho", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "MagusCorp/legislinho" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "MagusCorp/legislinho", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use MagusCorp/legislinho with Docker Model Runner:
docker model run hf.co/MagusCorp/legislinho
Nome do Modelo: Legislinho
Teste no βΆοΈ Colab
Nunca usou Google Colab? EstΓ‘ confuso(a)? Siga esse tutΓ³rial: Tutotial de Como Usar Colab
VersΓ£o: v0
DescriΓ§Γ£o: O Legislinho Γ© um modelo de InteligΓͺncia Artificial (AI) em sua versΓ£o inicial, nΓ£o pronto para produΓ§Γ£o. Ele funciona como um primeira consulta em assuntos relacionados Γ legislaΓ§Γ£o brasileira. Foi treinado a partir do OpenHermes no vade mecum da legislaΓ§Γ£o brasileira e further fine-tunned (QLoRA) em um conjunto selecionado de perguntas e respostas sobre legislaΓ§Γ£o brasileira.
Aviso: O Legislinho nΓ£o substitui de forma alguma um advogado. Seu propΓ³sito Γ© ser um guia, um norte para pessoas que se sentem perdidas no Γ’mbito da legislaΓ§Γ£o brasileira. As respostas fornecidas pelo modelo nΓ£o constituem uma consulta jurΓdica real.
Dados de Treinamento: O modelo foi treinado usando o OpenHermes no vade mecum da legislaΓ§Γ£o brasileira e ajustado com um conjunto selecionado de perguntas e respostas sobre legislaΓ§Γ£o brasileira.
CaracterΓsticas do Modelo: O Legislinho Γ© capaz de responder a perguntas simples sobre legislaΓ§Γ£o brasileira, fornecendo informaΓ§Γ΅es bΓ‘sicas e orientaΓ§Γ΅es gerais.
LimitaΓ§Γ΅es: Como o modelo estΓ‘ em sua versΓ£o inicial, suas respostas podem nΓ£o ser sempre precisas ou completas. AlΓ©m disso, o Legislinho nΓ£o estΓ‘ equipado para lidar com casos complexos ou especΓficos que exigem conhecimento legal especializado.
ConsideraΓ§Γ΅es Γticas: O uso do Legislinho deve ser feito com responsabilidade, entendendo que suas respostas sΓ£o apenas orientaΓ§Γ΅es gerais e nΓ£o substituem uma consulta jurΓdica profissional.
Uso Recomendado: O Legislinho pode ser usado por indivΓduos que procuram uma compreensΓ£o bΓ‘sica de assuntos legais no Brasil. Γ recomendΓ‘vel que os usuΓ‘rios procurem orientaΓ§Γ£o legal profissional para situaΓ§Γ΅es especΓficas ou complexas.
Inferencia: Para executar inferencia se necessita ter os seguintes pacotes instalados:
(pip install / poetry add)peft accelerate bitsandbytes safetensors transformers
CΓ³dico completo para inferΓͺncia:
from transformers import AutoTokenizer, AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained('MagusCorp/legislinho')
tokenizer = AutoTokenizer.from_pretrained('MagusCorp/legislinho')
preprompt = 'VocΓͺ Γ© um agente de auxΓlio jurΓdico que nΓ£o repete palavras de forma redundante e redige de forma clara concisa, como alguΓ©m formado em direito. VocΓͺ nΓ£o cita leis de forma alguma apenas procedimentos legais e operaΓ§Γ΅es. VocΓͺ apenas Γ© uma primeira consulta antes da pessoa procurar um advogado. Utilize todo o seu conhecimento da constituiΓ§Γ£o brasileira para responder. NΓ£o repita a mesma informaΓ§Γ£o em sua resposta. Seja assertivo. Atente-se a pergunta e elabore uma estratΓ©gia de soluΓ§Γ£o do problema contemplando toda a pergunta, tal como faz um advogado. Pergunta:\n'
pospromt = "\nResposta:"
prompt = 'Minha mae vendeu a casa dela sem consultar nem um dos filhos ela pode fazer isso?'
inputs = tokenizer(preprompt+prompt+pospromt, return_tensors='pt').to('cuda')
outputs = model.generate(**inputs,max_new_tokens=1000)
answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(answer.split(prompt)[1])
AvaliaΓ§Γ£o: O modelo ainda nΓ£o foi avaliado em um ambiente de produΓ§Γ£o.
Contato: Para mais informaΓ§Γ΅es ou dΓΊvidas sobre o Legislinho, entre em contato conosco. email
Se quiser ajudar o desenvolvimento do Legislinho e outros projetos no forno. Considere doar:
Open Portuguese LLM Leaderboard Evaluation Results
Detailed results can be found here and on the π Open Portuguese LLM Leaderboard
| Metric | Value |
|---|---|
| Average | 63.6 |
| ENEM Challenge (No Images) | 63.05 |
| BLUEX (No Images) | 51.04 |
| OAB Exams | 43.23 |
| Assin2 RTE | 88.70 |
| Assin2 STS | 67.76 |
| FaQuAD NLI | 63.80 |
| HateBR Binary | 72.64 |
| PT Hate Speech Binary | 65.63 |
| tweetSentBR | 56.52 |
- Downloads last month
- 12
Space using MagusCorp/legislinho 1
Evaluation results
- accuracy on ENEM Challenge (No Images)Open Portuguese LLM Leaderboard63.050
- accuracy on BLUEX (No Images)Open Portuguese LLM Leaderboard51.040
- accuracy on OAB ExamsOpen Portuguese LLM Leaderboard43.230
- f1-macro on Assin2 RTEtest set Open Portuguese LLM Leaderboard88.700
- pearson on Assin2 STStest set Open Portuguese LLM Leaderboard67.760
- f1-macro on FaQuAD NLItest set Open Portuguese LLM Leaderboard63.800
- f1-macro on HateBR Binarytest set Open Portuguese LLM Leaderboard72.640
- f1-macro on PT Hate Speech Binarytest set Open Portuguese LLM Leaderboard65.630
docker model run hf.co/MagusCorp/legislinho