Gemma2 [[gemma2]]
๊ฐ์ [[overview]]
Gemma2 ๋ชจ๋ธ์ Google์ Gemma2 ํ์ด ์์ฑํ Gemma2: Open Models Based on Gemini Technology and Research์์ ์ ์๋์์ต๋๋ค. ํ๋ผ๋ฏธํฐ ํฌ๊ธฐ๊ฐ ๊ฐ๊ฐ 90์ต(9B)๊ณผ 270์ต(27B)์ธ ๋ ๊ฐ์ง Gemma2 ๋ชจ๋ธ์ด ์ถ์๋์์ต๋๋ค.
๋ธ๋ก๊ทธ ๊ฒ์๋ฌผ์ ์ด๋ก์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
์ด์ ์ฐ๋ฆฌ๋ ์ ์ธ๊ณ์ ์ฐ๊ตฌ์์ ๊ฐ๋ฐ์๋ค์๊ฒ Gemma 2๋ฅผ ๊ณต์์ ์ผ๋ก ์ถ์ํฉ๋๋ค. 90์ต(9B)๊ณผ 270์ต(27B) ํ๋ผ๋ฏธํฐ ํฌ๊ธฐ๋ก ์ ๊ณต๋๋ Gemma 2๋ 1์ธ๋๋ณด๋ค ๋ ๋์ ์ฑ๋ฅ๊ณผ ์ถ๋ก ํจ์จ์ฑ์ ์ ๊ณตํ๋ฉฐ, ์๋นํ ์์ ์ฑ ํฅ์์ ํฌํจํ๊ณ ์์ต๋๋ค. ์ฌ์ค 270์ต ๊ท๋ชจ์ ๋ชจ๋ธ์ ํฌ๊ธฐ๊ฐ ๋ ๋ฐฐ ์ด์์ธ ๋ชจ๋ธ๊ณผ ๋น๊ตํด๋ ๊ฒฝ์๋ ฅ ์๋ ๋์์ ์ ๊ณตํ๋ฉฐ, ์ด๋ ์๋ 12์๊น์ง๋ง ํด๋ ๋ ์ ๋ชจ๋ธ์์๋ง ๊ฐ๋ฅํ๋ ์ฑ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
ํ:
- ์๋ณธ ์ฒดํฌํฌ์ธํธ๋ ๋ณํ ์คํฌ๋ฆฝํธ
src/transformers/models/Gemma2/convert_Gemma2_weights_to_hf.py๋ฅผ ์ฌ์ฉํ์ฌ ๋ณํํ ์ ์์ต๋๋ค.
์ด ๋ชจ๋ธ์ Arthur Zucker, Pedro Cuenca, Tom Arsen์ด ๊ธฐ์ฌํ์ต๋๋ค.
Gemma2Config [[transformers.Gemma2Config]]
[[autodoc]] Gemma2Config
Gemma2Model [[transformers.Gemma2Model]]
[[autodoc]] Gemma2Model - forward
Gemma2ForCausalLM [[transformers.Gemma2ForCausalLM]]
[[autodoc]] Gemma2ForCausalLM - forward
Gemma2ForSequenceClassification [[transformers.Gemma2ForSequenceClassification]]
[[autodoc]] Gemma2ForSequenceClassification - forward
Gemma2ForTokenClassification [[transformers.Gemma2ForTokenClassification]]
[[autodoc]] Gemma2ForTokenClassification - forward