bbgg2 / READMEKE.md
handsomeboyMMk's picture
Upload READMEKE.md with huggingface_hub
48e0514


huggingface_hub library logo

๊ณต์‹ Huggingface Hub ํŒŒ์ด์ฌ ํด๋ผ์ด์–ธํŠธ

Documentation GitHub release PyPi version downloads Code coverage

English | Deutsch | เคนเคฟเค‚เคฆเฅ€ | ํ•œ๊ตญ์–ด


๊ธฐ์ˆ  ๋ฌธ์„œ: https://hf.co/docs/huggingface_hub

์†Œ์Šค ์ฝ”๋“œ: https://github.com/huggingface/huggingface_hub


huggingface_hub ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๊ฐœ์š”

huggingface_hub ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” Hugging Face Hub์™€ ์ƒํ˜ธ์ž‘์šฉํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ด์ค๋‹ˆ๋‹ค. Hugging Face Hub๋Š” ์ฐฝ์ž‘์ž์™€ ํ˜‘์—…์ž๋ฅผ ์œ„ํ•œ ์˜คํ”ˆ์†Œ์Šค ๋จธ์‹ ๋Ÿฌ๋‹ ํ”Œ๋žซํผ์ž…๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ๋ถ„์˜ ํ”„๋กœ์ ํŠธ์— ์ ํ•ฉํ•œ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ๋ชจ๋ธ๊ณผ ๋ฐ์ดํ„ฐ์…‹์„ ๋ฐœ๊ฒฌํ•˜๊ฑฐ๋‚˜, Hub์— ํ˜ธ์ŠคํŒ…๋œ ์ˆ˜์ฒœ ๊ฐœ์˜ ๋จธ์‹ ๋Ÿฌ๋‹ ์•ฑ๋“ค์„ ์‚ฌ์šฉํ•ด๋ณด์„ธ์š”. ๋˜ํ•œ, ์—ฌ๋Ÿฌ๋ถ„์ด ๋งŒ๋“  ๋ชจ๋ธ, ๋ฐ์ดํ„ฐ์…‹, ๋ฐ๋ชจ๋ฅผ ์ปค๋ฎค๋‹ˆํ‹ฐ์™€ ๊ณต์œ ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. huggingface_hub ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ํŒŒ์ด์ฌ์œผ๋กœ ์ด ๋ชจ๋“  ๊ฒƒ์„ ๊ฐ„๋‹จํ•˜๊ฒŒ ํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐฉ๋ฒ•์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

์ฃผ์š” ๊ธฐ๋Šฅ

์„ค์น˜

pip๋กœ huggingface_hub ํŒจํ‚ค์ง€๋ฅผ ์„ค์น˜ํ•˜์„ธ์š”:

pip install huggingface_hub

์›ํ•œ๋‹ค๋ฉด conda๋ฅผ ์ด์šฉํ•˜์—ฌ ์„ค์น˜ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ธฐ๋ณธ ํŒจํ‚ค์ง€๋ฅผ ์ž‘๊ฒŒ ์œ ์ง€ํ•˜๊ธฐ ์œ„ํ•ด huggingface_hub๋Š” ์œ ์šฉํ•œ ์˜์กด์„ฑ์„ ์ถ”๊ฐ€์ ์œผ๋กœ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ถ”๋ก ๊ณผ ๊ด€๋ จ๋œ ๊ธฐ๋Šฅ์„ ์›ํ•œ๋‹ค๋ฉด, ์•„๋ž˜๋ฅผ ์‹คํ–‰ํ•˜์„ธ์š”:

pip install huggingface_hub[inference]

์„ค์น˜์™€ ์„ ํƒ์  ์˜์กด์„ฑ์— ๋Œ€ํ•ด ๋” ์•Œ์•„๋ณด๋ ค๋ฉด, ์„ค์น˜ ๊ฐ€์ด๋“œ๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

๋ง›๋ณด๊ธฐ

ํŒŒ์ผ ๋‹ค์šด๋กœ๋“œ

ํŒŒ์ผ ํ•˜๋‚˜์˜ ๊ฒฝ์šฐ:

from huggingface_hub import hf_hub_download

hf_hub_download(repo_id="tiiuae/falcon-7b-instruct", filename="config.json")

๋ ˆํฌ์ง€ํ† ๋ฆฌ ์ „์ฒด์˜ ๊ฒฝ์šฐ:

from huggingface_hub import snapshot_download

snapshot_download("stabilityai/stable-diffusion-2-1")

ํŒŒ์ผ์€ ๋กœ์ปฌ ์บ์‹œ ํด๋”์— ๋‹ค์šด๋กœ๋“œ๋ฉ๋‹ˆ๋‹ค. ์ž์„ธํ•œ ๋‚ด์šฉ์€ ์ด ๊ฐ€์ด๋“œ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

๋กœ๊ทธ์ธ

Hugging Face Hub๋Š” ํ† ํฐ์„ ์‚ฌ์šฉํ•˜์—ฌ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ์ธ์ฆํ•ฉ๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ์กฐ). ์ปดํ“จํ„ฐ์—์„œ ๋กœ๊ทธ์ธํ•˜๋ ค๋ฉด CLI๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”:

huggingface-cli login
# ๋˜๋Š” ํ™˜๊ฒฝ ๋ณ€์ˆ˜๋กœ ์ง€์ •ํ•ด์ฃผ์„ธ์š”
huggingface-cli login --token $HUGGINGFACE_TOKEN

๋ ˆํฌ์ง€ํ† ๋ฆฌ ์ƒ์„ฑ

from huggingface_hub import create_repo

create_repo(repo_id="super-cool-model")

ํŒŒ์ผ ์—…๋กœ๋“œ

ํŒŒ์ผ ํ•˜๋‚˜์˜ ๊ฒฝ์šฐ:

from huggingface_hub import upload_file

upload_file(
    path_or_fileobj="/home/lysandre/dummy-test/README.md",
    path_in_repo="README.md",
    repo_id="lysandre/test-model",
)

๋ ˆํฌ์ง€ํ† ๋ฆฌ ์ „์ฒด์˜ ๊ฒฝ์šฐ:

from huggingface_hub import upload_folder

upload_folder(
    folder_path="/path/to/local/space",
    repo_id="username/my-cool-space",
    repo_type="space",
)

์ž์„ธํ•œ ๋‚ด์šฉ์€ ์—…๋กœ๋“œ ๊ฐ€์ด๋“œ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

Hugging Face Hub์™€ ํ•จ๊ป˜ ์„ฑ์žฅํ•˜๊ธฐ

์ €ํฌ๋Š” ๋ฉ‹์ง„ ์˜คํ”ˆ์†Œ์Šค ML ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋“ค๊ณผ ํ˜‘๋ ฅํ•˜์—ฌ, ๋ชจ๋ธ ํ˜ธ์ŠคํŒ…๊ณผ ๋ฒ„์ „ ๊ด€๋ฆฌ๋ฅผ ๋ฌด๋ฃŒ๋กœ ์ œ๊ณตํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฏธ ํ†ตํ•ฉ๋œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋“ค์€ ์—ฌ๊ธฐ์„œ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋ ‡๊ฒŒ ํ•˜๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์žฅ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค:

  • ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์‚ฌ์šฉ์ž๋“ค์˜ ๋ชจ๋ธ์ด๋‚˜ ๋ฐ์ดํ„ฐ์…‹์„ ๋ฌด๋ฃŒ๋กœ ํ˜ธ์ŠคํŒ…ํ•ด์ค๋‹ˆ๋‹ค.
  • git์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ ๋ฐฉ์‹์œผ๋กœ, ์•„์ฃผ ํฐ ํŒŒ์ผ๋“ค๋„ ๋ฒ„์ „์„ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๊ณต๊ฐœ๋œ ๋ชจ๋“  ๋ชจ๋ธ์— ๋Œ€ํ•ด ์ถ”๋ก  API๋ฅผ ํ˜ธ์ŠคํŒ…ํ•ด์ค๋‹ˆ๋‹ค.
  • ์—…๋กœ๋“œ๋œ ๋ชจ๋ธ๋“ค์„ ๋ธŒ๋ผ์šฐ์ €์—์„œ ์‰ฝ๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ์œ„์ ฏ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
  • ๋ˆ„๊ตฌ๋‚˜ ์—ฌ๋Ÿฌ๋ถ„์˜ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์— ์ƒˆ๋กœ์šด ๋ชจ๋ธ์„ ์—…๋กœ๋“œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ์ด ๊ฒ€์ƒ‰๋  ์ˆ˜ ์žˆ๋„๋ก ํ•ด๋‹น ํƒœ๊ทธ๋งŒ ์ถ”๊ฐ€ํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค.
  • ๋‹ค์šด๋กœ๋“œ ์†๋„๊ฐ€ ๋งค์šฐ ๋น ๋ฆ…๋‹ˆ๋‹ค! ์™œ๋ƒํ•˜๋ฉด Cloudfront (CDN)๋ฅผ ์ด์šฉํ•˜์—ฌ ์ „ ์„ธ๊ณ„ ์–ด๋””์—์„œ๋‚˜ ๋น ๋ฅด๊ฒŒ ๋‹ค์šด๋กœ๋“œํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์—ญ์ ์œผ๋กœ ๋ณต์ œํ•ด๋’€๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.
  • ์‚ฌ์šฉ ํ†ต๊ณ„์™€ ๋” ๋งŽ์€ ๊ธฐ๋Šฅ๋“ค์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

์—ฌ๋Ÿฌ๋ถ„์˜ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ํ†ตํ•ฉํ•˜๊ณ  ์‹ถ๋‹ค๋ฉด, ์ด์Šˆ๋ฅผ ์—ด์–ด์„œ ์˜๊ฒฌ์„ ๋‚˜๋ˆ ์ฃผ์„ธ์š”. ํ†ตํ•ฉ ๊ณผ์ •์„ ์•ˆ๋‚ดํ•˜๊ธฐ ์œ„ํ•ด โค๏ธ์„ ๋‹ด์•„ ๋‹จ๊ณ„๋ณ„ ๊ฐ€์ด๋“œ๋ฅผ ์ž‘์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค.

(๊ธฐ๋Šฅ ์š”์ฒญ, ๋ฒ„๊ทธ ํŒจ์น˜ ๋“ฑ์˜) ๊ธฐ์—ฌ๋Š” ๋Œ€ํ™˜์˜์ž…๋‹ˆ๋‹ค ๐Ÿ’™๐Ÿ’š๐Ÿ’›๐Ÿ’œ๐Ÿงกโค๏ธ

๋ชจ๋“  ๋ถ„๋“ค์˜ ๊ธฐ์—ฌ๋ฅผ ํ™˜์˜ํ•˜๋ฉฐ, ์†Œ์ค‘ํžˆ ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค. ์ฝ”๋“œ ์ž‘์„ฑ๋งŒ์ด ์ปค๋ฎค๋‹ˆํ‹ฐ์— ๋„์›€์„ ์ฃผ๋Š” ์œ ์ผํ•œ ๋ฐฉ๋ฒ•์ด ์•„๋‹ˆ์—์š”. ์งˆ๋ฌธ์— ๋‹ตํ•˜๊ฑฐ๋‚˜, ๋‹ค๋ฅธ ๋ถ„๋“ค์„ ๋•๊ฑฐ๋‚˜, ์ปจํƒํ•˜๊ฑฐ๋‚˜, ๋ฌธ์„œ๋ฅผ ๊ฐœ์„ ํ•˜๋Š” ๊ฒƒ๋„ ์ปค๋ฎค๋‹ˆํ‹ฐ์— ํฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค. ์ง€๊ธˆ ์‹œ์ž‘ํ•˜๋ ค๋ฉด ๊ฐ„๋‹จํ•œ ๊ธฐ์—ฌ ๊ฐ€์ด๋“œ๋ฅผ ์ฐธ์กฐํ•ด์ฃผ์„ธ์š”.