Instructions to use CreatorPhan/Healthcare-QnA with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use CreatorPhan/Healthcare-QnA with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="CreatorPhan/Healthcare-QnA")# Load model directly from transformers import AutoTokenizer, AutoModelForSeq2SeqLM tokenizer = AutoTokenizer.from_pretrained("CreatorPhan/Healthcare-QnA") model = AutoModelForSeq2SeqLM.from_pretrained("CreatorPhan/Healthcare-QnA") - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use CreatorPhan/Healthcare-QnA with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "CreatorPhan/Healthcare-QnA" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "CreatorPhan/Healthcare-QnA", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/CreatorPhan/Healthcare-QnA
- SGLang
How to use CreatorPhan/Healthcare-QnA with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "CreatorPhan/Healthcare-QnA" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "CreatorPhan/Healthcare-QnA", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "CreatorPhan/Healthcare-QnA" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "CreatorPhan/Healthcare-QnA", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use CreatorPhan/Healthcare-QnA with Docker Model Runner:
docker model run hf.co/CreatorPhan/Healthcare-QnA
YAML Metadata Warning:The pipeline tag "text2text-generation" is not in the official list: text-classification, token-classification, table-question-answering, question-answering, zero-shot-classification, translation, summarization, feature-extraction, text-generation, fill-mask, sentence-similarity, text-to-speech, text-to-audio, automatic-speech-recognition, audio-to-audio, audio-classification, audio-text-to-text, voice-activity-detection, depth-estimation, image-classification, object-detection, image-segmentation, text-to-image, image-to-text, image-to-image, image-to-video, unconditional-image-generation, video-classification, reinforcement-learning, robotics, tabular-classification, tabular-regression, tabular-to-text, table-to-text, multiple-choice, text-ranking, text-retrieval, time-series-forecasting, text-to-video, image-text-to-text, image-text-to-image, image-text-to-video, visual-question-answering, document-question-answering, zero-shot-image-classification, graph-ml, mask-generation, zero-shot-object-detection, text-to-3d, image-to-3d, image-feature-extraction, video-text-to-text, keypoint-detection, visual-document-retrieval, any-to-any, video-to-video, other
This model using T5-large paradigm with 790M parameters. This training by alo-bac-si dataset, which crawl by me from alobacsi.com website.
from transformers import AutoTokenizer, T5ForConditionalGeneration
device = 'cpu'
model_path = "CreatorPhan/Healthcare-QnA"
model = T5ForConditionalGeneration.from_pretrained(model_path).to(device)
tokenizer = AutoTokenizer.from_pretrained(model_path)
prompt = "Công dụng của paracetamol là gì?"
tokens = tokenizer(prompt, return_tensors='pt').input_ids
output = model.generate(tokens.to(device), max_new_tokens=170)[0]
predict = tokenizer.decode(output, skip_special_tokens=True)
print(len(predict.split()))
print(predict)
Input:
Công dụng của paracetamol là gì?
Expected output:
Paracetamol còn có tên gọi khác là Acetaminophen là kháng sinh thuộc nhóm Fluoroquinolon. Paracetamol có tác dụng hạ sốt, giảm đau đầu. Thuốc dùng hạ sốt trong bệnh lý còi xương do mệt mỏi, suy nhược cơ thể, người cao tuổi có thể dùng được. Chào bạn, Thuốc Paracetamol còn có tên gọi khác là Paracetamol, là thuốc giảm đau giảm viêm sử dụng trong bệnh lý paracetamol, có tác dụng giảm đau, hạ sốt, giảm đau cho bệnh nhân bị chấn thương nặng. Nhưng mà, tác dụng phụ này không phải là do paracetamol gây nên, vì tùy vào cơ địa người bệnh, tác nhân gây bệnh, tình trạng bệnh nền, nếu dùng paracetamol không đúng hoặc quá liều có thể gây độc thận. Trường hợp của bạn do dùng paracetamol không đúng cách nên dẫn đến nguy cơ độc gan nên có thể bạn đã có tiền sử bị rối loạn chuyển hóa mỡ máu, có thể do lo lắng quá mức, bạn nên nhờ bác sĩ điều trị tư vấn trực tiếp khi dùng thuốc bạn nhé!
- Downloads last month
- 4