답변 길이관련해서 여쭤볼께있습니다!
#4
by HIMINSU - opened
우선 좋은모델을 오픈소스로 올려주신것에대해 감사의 말씀드립니다!
이 모델을 langchain에 올려서 사용해볼려고 시도중인 학생입니다.
제가 질문을 하면 답변이나올때, 제가 한 질문 뿐만아니라 추가적인 질문에대한 답변까지 같이출려이되는데, 혹시 이부분은 어떤문제일까요..?
해당 모델은 챗팅 형식으로 학습시킨 모델이 아니라 인스트럭트 튜닝을 한 상태입니다. 따라서 생성하실때 아래와 같이 인스트럭트 프롬프트를 넣어주셔야 합니다.
- 프롬프트 예시
### 명령 : 아래 질문에 대해 답변을 단답식으로 하시오.
Q: {input}
A:
그리고 eos 토큰을 pad 토큰으로 설정하시면 추가적인 질문이 생성되지 않을 겁니다.
eos_token_id=tokenizer.pad_token_id
This comment has been hidden