Instructions to use SakuraLLM/GalTransl-v4-4B-2601 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use SakuraLLM/GalTransl-v4-4B-2601 with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S # Run inference directly in the terminal: llama cli -hf SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S # Run inference directly in the terminal: llama cli -hf SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S # Run inference directly in the terminal: ./llama-cli -hf SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S # Run inference directly in the terminal: ./build/bin/llama-cli -hf SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S
Use Docker
docker model run hf.co/SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S
- LM Studio
- Jan
- Ollama
How to use SakuraLLM/GalTransl-v4-4B-2601 with Ollama:
ollama run hf.co/SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S
- Unsloth Studio
How to use SakuraLLM/GalTransl-v4-4B-2601 with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for SakuraLLM/GalTransl-v4-4B-2601 to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for SakuraLLM/GalTransl-v4-4B-2601 to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for SakuraLLM/GalTransl-v4-4B-2601 to start chatting
- Docker Model Runner
How to use SakuraLLM/GalTransl-v4-4B-2601 with Docker Model Runner:
docker model run hf.co/SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S
- Lemonade
How to use SakuraLLM/GalTransl-v4-4B-2601 with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull SakuraLLM/GalTransl-v4-4B-2601:Q5_K_S
Run and chat with the model
lemonade run user.GalTransl-v4-4B-2601-Q5_K_S
List all available models
lemonade list
- Atomic Chat
[Bug] 使用v3请求模板,频繁发生翻译时输出附带输入的历史翻译结果。
#2
by hillya51 - opened
{
"model": "",
"messages": [
{
"role": "system",
"content": "你是一个视觉小说翻译模型,可以通顺地使用给定的术语表以指定的风格将日文翻译成简体中文,并联系上下文正确使用人称代词,注意不要混淆使役态和被动态的主语和宾语,不要擅自添加原文中没有的特殊符号,也不要擅自增加或减少换行。"
},
{
"role": "user",
"content": "历史翻译:那时,朔太郎先生向涟的老板娘询问了关于双胞胎的事。涟的女儿日记里也提到过这一点。\n涟的老板娘似乎回答说『小镇已经好一阵子没有双胞胎出生了』……但朔太郎先生似乎认为千惠和八惠小姐的关系可能是双胞胎。\n双子被视为禁忌,有时甚至会被抛弃或杀害……朔太郎先生也知道过去确实有过这样的事例。\n『我答应千惠,只要我告诉她一件外界的事,她也会回答一件关于自己的事。但是,如果突然就问核心问题,她可能会提高警惕,再也不愿意见我了』\n『总之,一开始先问问她喜欢的花或食物吧。说不定还能以此为由送她礼物』\n『在遇见千惠的地方附近,有一块小小的树桩,我们就约在那里碰面』\n就这样,朔太郎先生与千惠小姐展开了一段小小的交流,逐渐赢得了她的信任——\n不久后,我便得知了千惠小姐背负的宿命。\n「……我是献给『御魂大人』的巫女啊」\n「巫女……? 被献给『御魂大人』……」\n\n结合历史剧情和上下文,将下面的文本从日文翻译成简体中文:\n「いつかはまだ、わかりません。けれど、いずれ私は『オハコ様』にこの身を捧げます」"
}
],
"temperature": 0.3,
"top_p": 0.8,
"max_tokens": 2048,
"frequency_penalty": 0
}
{
"model": "",
"messages": [
{
"role": "system",
"content": "你是一个视觉小说翻译模型,可以通顺地使用给定的术语表以指定的风格将日文翻译成简体中文,并联系上下文正确使用人称代词,注意不要混淆使役态和被动态的主语和宾语,不要擅自添加原文中没有的特殊符号,也不要擅自增加或减少换行。"
},
{
"role": "user",
"content": "历史翻译:七七濑「真的呢。爷爷……」\n七七濑像是在怀念似的,用手指描摹着叔叔写下的文字。\n在那之后,手记中也继续以一丝不苟的字迹记录着在心珠生活期间所见所闻,以及进行调查后的感想。\n还去了睦峰神社。在那里和长女睦峰八惠小姐变得亲近了。\n他频繁出入御汐家和睦峰家,与八惠、重道变得亲密无间,甚至开始用名字称呼对方。\n虽然御汐家和睦峰家本身关系融洽,但海边和山里的居民之间却因矿山问题产生了微妙的隔阂,两家都为此关系感到为难……等等。\n当时心珠町的景象,通过朔太郎先生的眼睛生动而详细地记录了下来。\n『今天在涟的女儿介绍下,我拜访了这座小镇的木工师傅川仓家,得到了他们的协助进行调查』\n『尤其是二儿子泰次君,他认真倾听我的讲述,还和我聊了许多话题,进行了不也有记录到他遇见我祖父的那一天。\n朔太郎先生的手记继续写下去了。\n虽然从御汐和睦峰的当家那里感受到了疏远的氛围,但在重道先生和八惠小姐的协助下,实地调查本身似乎进行得十分顺利。\n祖父似乎也受到了不少疼爱。\n他还写道,就这样留在心珠似乎也不错……甚至让我产生了这样的感觉。\n黎一「看起来没什么问题啊……」\n这不过是一本普通的日记,甚至让我疑惑为什么要特意藏在暗门里。\n七七濑「……但是,好像发生了什么事呢」\n『我见到了不得了的东西』\n潦草的字迹下,只写着这么一句话。\n黎一「不得了的东西……?」\n\n结合历史剧情和上下文,将下面的文本从日文翻译成简体中文:\n七々瀬「こんな、一行だけ書いて終わりなんておじいちゃんらしくないわ。よっぽどのことが起こったのかしら……」"
}
],
"temperature": 0.3,
"top_p": 0.8,
"max_tokens": 2048,
"frequency_penalty": 0
}
使用以上两个request和最新v4-4b模型可以稳定复现。旧的模型也有类似的情况。
ok,我研究下
把歷史翻譯塞到系統提示詞內可以避免
已在GalTransl-v4-4B-2601解决
This comment has been hidden (marked as Resolved)

