Instructions to use DopeorNope/Ko-Mixtral-MoE-7Bx2 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use DopeorNope/Ko-Mixtral-MoE-7Bx2 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="DopeorNope/Ko-Mixtral-MoE-7Bx2")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("DopeorNope/Ko-Mixtral-MoE-7Bx2")
model = AutoModelForCausalLM.from_pretrained("DopeorNope/Ko-Mixtral-MoE-7Bx2")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use DopeorNope/Ko-Mixtral-MoE-7Bx2 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "DopeorNope/Ko-Mixtral-MoE-7Bx2"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "DopeorNope/Ko-Mixtral-MoE-7Bx2",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/DopeorNope/Ko-Mixtral-MoE-7Bx2

SGLang

How to use DopeorNope/Ko-Mixtral-MoE-7Bx2 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "DopeorNope/Ko-Mixtral-MoE-7Bx2" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "DopeorNope/Ko-Mixtral-MoE-7Bx2",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "DopeorNope/Ko-Mixtral-MoE-7Bx2" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "DopeorNope/Ko-Mixtral-MoE-7Bx2",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use DopeorNope/Ko-Mixtral-MoE-7Bx2 with Docker Model Runner:
```
docker model run hf.co/DopeorNope/Ko-Mixtral-MoE-7Bx2
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

The license is cc-by-nc-sa-4.0.

Commercializing is not allowed.

ASAP will upload it.

Not based on Synatra model, we pre-train and full-finetuning Mixtralx2 to enhance Korean abilities.

DATASET.

Using a Self-supervised learning manner, we converted raw corpus to instruct tuned data.
We used text-mining techniques to create the train data.
Here is some examples...
Mask prediction Task


#Mask prediction

text='지능(智能) 또는 인텔리전스(intelligence)는 인간의 <MASK> 능력을 말한다.'

response='지적'

complete_text='지능(智能) 또는 인텔리전스(intelligence)는 인간의 지적 능력을 말한다.'

Text allign Task


#Text-allign Task

text_list=['복수명령-복수자료(MIMD,Multiple Instruction, Multiple Data)은 전산에서 병렬화의 한 기법이다.',
           '분산 메모리의 예는 MPP(massively parallel processors)와 COW (Clusters of Workstations)이다.',
           'MIMD기계는 공유 메모리이거나 분산 메모리이며 이러한 분류는 MIMD가 어떻게 메모리를 이용하느냐에 따라 나뉜다.']



response='복수명령-복수자료(MIMD,Multiple Instruction, Multiple Data)은 전산에서 병렬화의 한 기법이다. \
          MIMD기계는 공유 메모리이거나 분산 메모리이며 이러한 분류는 MIMD가 어떻게 메모리를 이용하느냐에 따라 나뉜다. \
          분산 메모리의 예는 MPP(massively parallel processors)와 COW (Clusters of Workstations)이다.'

Text completion Task


#Text Completion

text= '그린브라우저(GreenBrowser)는 인터넷 익스플로러에서 사용하는 트라이던트 레이아웃 엔진을 바탕으로 하며 중국에 기반을 둔 소프트웨어 회사인 모어퀵(morequick)에서 만든 무료 웹 브라우저다. 간체자 중국어가 웹 브라우저에 내장되어 있다.
      맥스톤 웹 브라우저와 비슷하여 MyIE와 밀접하게 관련되어 있다. 맥스톤용의 일부 플러그인이 그린브라우저에서도 작동할 것이다.'



response= '자동 스크롤, 자동 리프레시, 자동 저장, 자동 폼 채우기와 같은 많은 자동화 기능이 있다.'

Downloads last month: 8

Safetensors

Model size

13B params

Tensor type

F32

Model tree for DopeorNope/Ko-Mixtral-MoE-7Bx2

Quantizations

1 model