Update README.md
Browse files
README.md
CHANGED
|
@@ -57,4 +57,35 @@ What is granulovacuolar degeneration and what was its observation on electron mi
|
|
| 57 |
{"relevant": true}</s>
|
| 58 |
```
|
| 59 |
|
| 60 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 57 |
{"relevant": true}</s>
|
| 58 |
```
|
| 59 |
|
| 60 |
+
vLLM recommended request parameters:
|
| 61 |
+
|
| 62 |
+
```python
|
| 63 |
+
prompt = "<s><|system|>\nYou are a chatbot who always responds in JSON format indicating if the context contains relevant information to answer the question</s>\n<|user|>\nContext:\nConhecida como missão de imagem de raios-x e espectroscopia (da sigla em inglês XRISM), a estratégia é utilizar o telescópio para ampliar os estudos da humanidade a níveis celestiais com uma fração dos pixels da tela de um Gameboy original, lançado em 1989. Isso é possível por meio de uma ferramenta chamada “Resolve”. Apesar de utilizar a medição em pixels, a tecnologia é bastante diferente de uma câmera. Com um conjunto de microcalorímetros de seis pixels quadrados que mede 0,5 cm², ela detecta a temperatura de cada raio-x que o atinge. Como funciona o Resolve do telescópio XRISM? Cientista do projeto XRISM da NASA, Brian Williams explicou em um comunicado o funcionamento do telescópio. “Chamamos o Resolve de espectrômetro de microcalorímetros porque cada um de seus 36 pixels está medindo pequenas quantidades de calor entregues por cada raio-x recebido, nos permitindo ver as impressões digitais químicas dos elementos que compõem as fontes com detalhes sem precedentes”.\n\nQuestion:\nQual é a sigla em alemão mencionada?</s>\n<|assistant|>\n{\"is_relevant\":"
|
| 64 |
+
|
| 65 |
+
headers = {
|
| 66 |
+
"Accept": "text/event-stream",
|
| 67 |
+
"Authorization": "Bearer EMPTY"
|
| 68 |
+
}
|
| 69 |
+
|
| 70 |
+
body = {
|
| 71 |
+
"model": model,
|
| 72 |
+
"prompt": [prompt],
|
| 73 |
+
"best_of": 5,
|
| 74 |
+
"max_tokens": 1,
|
| 75 |
+
"temperature": 0,
|
| 76 |
+
"top_p": 1,
|
| 77 |
+
"use_beam_search": True,
|
| 78 |
+
"top_k": -1,
|
| 79 |
+
"min_p": 0,
|
| 80 |
+
"repetition_penalty": 1,
|
| 81 |
+
"length_penalty": 1,
|
| 82 |
+
"min_tokens": 1,
|
| 83 |
+
"logprobs": 1
|
| 84 |
+
}
|
| 85 |
+
|
| 86 |
+
result = requests.post(base_uri, headers=headers, json=body)
|
| 87 |
+
result = result.json()
|
| 88 |
+
|
| 89 |
+
boolean_response = bool(eval(json_result['choices'][0]['text'].strip().title()))
|
| 90 |
+
print(boolean_response)
|
| 91 |
+
```
|