EXAONE_추가_안내.md

EXAONE-3.0-7.8B-Instruct Ollama 추가 안내

현재 Ollama 버전(0.13.0)에서는 Hugging Face 모델을 직접 가져오는 기능이 제한적입니다.

현재 상황

• Ollama 버전: 0.13.0
• Hugging Face 토큰: 설정 완료
• 문제: FROM huggingface: 프리픽스가 지원되지 않음

해결 방법

방법 1: Ollama 업데이트 (가장 권장)

최신 버전의 Ollama는 Hugging Face 모델을 더 잘 지원합니다.

1. Ollama 다운로드 페이지에서 최신 버전 다운로드
2. 설치 후 재시작
3. 다음 명령어로 모델 추가 시도:

$env:HUGGINGFACE_HUB_TOKEN="YOUR_HUGGINGFACE_TOKEN_HERE"
ollama create EXAONE-3.0-7.8B-Instruct --from huggingface:LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct

방법 2: GGUF 형식 모델 사용

EXAONE 모델의 GGUF 버전이 있다면:

1. GGUF 모델 파일 다운로드
2. 로컬 경로에 저장
3. Modelfile 생성:

FROM /path/to/exaone-model.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.9

4. 모델 생성:

ollama create EXAONE-3.0-7.8B-Instruct -f Modelfile

방법 3: Python에서 직접 사용

Ollama를 거치지 않고 Python에서 직접 Hugging Face 모델을 사용할 수 있습니다. 하지만 이 경우 웹 애플리케이션과의 통합이 필요합니다.

현재 설정된 정보

• Hugging Face 토큰: 환경 변수에서 설정 필요 (HUGGINGFACE_HUB_TOKEN)
• 모델 이름: LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct
• 생성된 Modelfile: EXAONE-3.0-7.8B-Instruct.modelfile

다음 단계

1. Ollama를 최신 버전으로 업데이트
2. 또는 EXAONE 모델의 GGUF 버전을 찾아서 사용
3. 또는 Python에서 직접 모델을 사용하도록 애플리케이션 수정

참고

• EXAONE 모델 페이지
• Ollama 공식 문서